閱讀259 返回首頁    go 阿裏雲

Logstash收集csv日誌__常見日誌格式_用戶指南_日誌服務-阿裏雲

日誌樣例

  1. 10.116.14.201,-,2/25/2016,11:53:17,W3SVC7,2132,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:testcsvtest_csv.log

采集配置

  1. input {
  2.   file {
  3.     type => "csv_log_1"
  4.     path => ["C:/test/csv/*.log"]
  5.     start_position => "beginning"
  6.   }
  7. }
  9. filter {
  10.   if [type] == "csv_log_1" {
  11.   csv {
  12.     separator => ","
  13.     columns => ["ip", "a", "date", "time", "b", "latency", "status", "size", "method", "url", "file"]
  14.   } 
  15.   }
  16. }
  18. output {
  19.   if [type] == "csv_log_1" {
  20.   logservice {
  21.         codec => "json"
  22.         endpoint => "***"
  23.         project => "***"
  24.         logstore => "***"
  25.         topic => ""
  26.         source => ""
  27.         access_key_id => "***"
  28.         access_key_secret => "***"
  29.         max_send_retry => 10
  30.     }
  31.     }
  32. }
  1. 配置文件格式必須以UTF-8無BOM格式編碼，可以下載notepad++修改文件編碼格式。
  2. path填寫文件路徑時請使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否則無法支持模煳匹配。
  3. type字段需要統一修改並在該文件內保持一致，如果單台機器存在多個logstash配置文件，需要保證各配置type字段唯一，否則會導致數據處理的錯亂。

相關插件：file、csv。

重啟Logstash生效

創建配置文件到conf目錄，參考通過Logstash收集Windows平台日誌重啟Logstash生效。

使用日誌字段內容作為日誌時間上傳

日誌樣例

  1. 10.116.14.201,-,Feb 25 2016 14:03:44,W3SVC7,1332,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:testcsvtest_csv_withtime.log

采集配置

  1. input {
  2.   file {
  3.     type => "csv_log_2"
  4.     path => ["C:/test/csv_withtime/*.log"]
  5.     start_position => "beginning"
  6.   }
  7. }
  9. filter {
  10.   if [type] == "csv_log_2" {
  11.   csv {
  12.     separator => ","
  13.     columns => ["ip", "a", "datetime", "b", "latency", "status", "size", "method", "url", "file"]
  14.   } 
  15.   date {
  16.     match => [ "datetime" , "MMM dd YYYY HH:mm:ss" ]
  17.   }
  18.   }
  19. }
  21. output {
  22.   if [type] == "csv_log_2" {
  23.   logservice {
  24.         codec => "json"
  25.         endpoint => "***"
  26.         project => "***"
  27.         logstore => "***"
  28.         topic => ""
  29.         source => ""
  30.         access_key_id => "***"
  31.         access_key_secret => "***"
  32.         max_send_retry => 10
  33.     }
  34.     }
  35. }
  1. 配置文件格式必須以UTF-8無BOM格式編碼，可以下載notepad++修改文件編碼格式。
  2. path填寫文件路徑時請使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否則無法支持模煳匹配。
  3. type字段需要統一修改並在該文件內保持一致，如果單台機器存在多個logstash配置文件，需要保證各配置type字段唯一，否則會導致數據處理的錯亂。

相關插件：file、csv、date。

重啟Logstash生效

創建配置文件到conf目錄，參考通過Logstash收集Windows平台日誌重啟Logstash生效。

最後更新：2016-11-23 17:16:06

  上一篇：go Logstash收集IIS日誌__常見日誌格式_用戶指南_日誌服務-阿裏雲
  下一篇：go Logstash收集其它日誌__常見日誌格式_用戶指南_日誌服務-阿裏雲