阅读259 返回首页    go 阿里云

Logstash收集csv日志__常见日志格式_用户指南_日志服务-阿里云

日志样例

  1. 10.116.14.201,-,2/25/2016,11:53:17,W3SVC7,2132,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:testcsvtest_csv.log

采集配置

  1. input {
  2.   file {
  3.     type => "csv_log_1"
  4.     path => ["C:/test/csv/*.log"]
  5.     start_position => "beginning"
  6.   }
  7. }
  9. filter {
  10.   if [type] == "csv_log_1" {
  11.   csv {
  12.     separator => ","
  13.     columns => ["ip", "a", "date", "time", "b", "latency", "status", "size", "method", "url", "file"]
  14.   } 
  15.   }
  16. }
  18. output {
  19.   if [type] == "csv_log_1" {
  20.   logservice {
  21.         codec => "json"
  22.         endpoint => "***"
  23.         project => "***"
  24.         logstore => "***"
  25.         topic => ""
  26.         source => ""
  27.         access_key_id => "***"
  28.         access_key_secret => "***"
  29.         max_send_retry => 10
  30.     }
  31.     }
  32. }
  1. 配置文件格式必须以UTF-8无BOM格式编码，可以下载notepad++修改文件编码格式。
  2. path填写文件路径时请使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否则无法支持模糊匹配。
  3. type字段需要统一修改并在该文件内保持一致，如果单台机器存在多个logstash配置文件，需要保证各配置type字段唯一，否则会导致数据处理的错乱。

相关插件：file、csv。

重启Logstash生效

创建配置文件到conf目录，参考通过Logstash收集Windows平台日志重启Logstash生效。

使用日志字段内容作为日志时间上传

日志样例

  1. 10.116.14.201,-,Feb 25 2016 14:03:44,W3SVC7,1332,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:testcsvtest_csv_withtime.log

采集配置

  1. input {
  2.   file {
  3.     type => "csv_log_2"
  4.     path => ["C:/test/csv_withtime/*.log"]
  5.     start_position => "beginning"
  6.   }
  7. }
  9. filter {
  10.   if [type] == "csv_log_2" {
  11.   csv {
  12.     separator => ","
  13.     columns => ["ip", "a", "datetime", "b", "latency", "status", "size", "method", "url", "file"]
  14.   } 
  15.   date {
  16.     match => [ "datetime" , "MMM dd YYYY HH:mm:ss" ]
  17.   }
  18.   }
  19. }
  21. output {
  22.   if [type] == "csv_log_2" {
  23.   logservice {
  24.         codec => "json"
  25.         endpoint => "***"
  26.         project => "***"
  27.         logstore => "***"
  28.         topic => ""
  29.         source => ""
  30.         access_key_id => "***"
  31.         access_key_secret => "***"
  32.         max_send_retry => 10
  33.     }
  34.     }
  35. }
  1. 配置文件格式必须以UTF-8无BOM格式编码，可以下载notepad++修改文件编码格式。
  2. path填写文件路径时请使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否则无法支持模糊匹配。
  3. type字段需要统一修改并在该文件内保持一致，如果单台机器存在多个logstash配置文件，需要保证各配置type字段唯一，否则会导致数据处理的错乱。

相关插件：file、csv、date。

重启Logstash生效

创建配置文件到conf目录，参考通过Logstash收集Windows平台日志重启Logstash生效。

最后更新：2016-11-23 17:16:06

  上一篇：go Logstash收集IIS日志__常见日志格式_用户指南_日志服务-阿里云
  下一篇：go Logstash收集其它日志__常见日志格式_用户指南_日志服务-阿里云