169      財經資訊

Logstash收集IIS日誌__常見日誌格式_用戶指南_日誌服務-阿裏雲

查看IIS日誌配置，選擇格式為W3C（默認字段設置）保存生效。

2016-02-25 01:27:04 112.74.74.124 GET /goods/list/0/1.html - 80 - 66.249.65.102 Mozilla/5.0+(compatible;+Googlebot/2.1;++https://www.google.com/bot.html) 404 0 2 703

采集配置

input {
  file {
    type => "iis_log_1"
    path => ["C:/inetpub/logs/LogFiles/W3SVC1/*.log"]
    start_position => "beginning"
  }
}
filter {
  if [type] == "iis_log_1" {
  #ignore log comments
  if [message] =~ "^#" {
    drop {}
  }
  grok {
    # check that fields match your IIS log settings
    match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
  }
    date {
    match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
      timezone => "Etc/UTC"
  }    
  useragent {
    source=> "useragent"
    prefix=> "browser"
  }
  mutate {
    remove_field => [ "log_timestamp"]
  }
  }
}
output {
  if [type] == "iis_log_1" {
  logservice {
        codec => "json"
        endpoint => "***"
        project => "***"
        logstore => "***"
        topic => ""
        source => ""
        access_key_id => "***"
        access_key_secret => "***"
        max_send_retry => 10
    }
    }
}

1. 配置文件格式必須以UTF-8無BOM格式編碼，可以下載notepad++修改文件編碼格式。
2. path填寫文件路徑時請使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否則無法支持模煳匹配。
3. type字段需要統一修改並在該文件內保持一致，如果單台機器存在多個logstash配置文件，需要保證各配置type字段唯一，否則會導致數據處理的錯亂。