日誌數據的關鍵字統計與報警實踐指南

目的

統計業務日誌中關鍵字的數量，並在統計數量達到一定條件時報警是業務日誌的常見需求之一。本教程的目的是通過一個具體案例介紹如何對存儲在日誌服務產品中的數據進行關鍵字統計和報警。參照本教程的介紹，您可以快速走通日誌的關鍵字統計、查詢圖表可視化和設置報警流程。

實戰案例

使用前提

首先需要您將本地日誌收集到日誌服務（Log Service）中，如果您未使用過阿裏雲日誌服務產品，可查看日誌服務快速入門了解產品。
需要確保主賬號的AccessKey是激活狀態。AccessKey保持激活狀態後您才能授權雲監控讀取您的日誌數據。
- 激活方法：登錄阿裏雲控製台，將鼠標移至頁麵右上角您的用戶名上方，在顯示的菜單中單擊 "AccessKeys" 。在彈出的確認對話框中單擊“繼續使用AccessKey”以進入 AccessKey管理頁麵。創建密鑰對（Access Key），確認狀態已設置為“啟用”。
統計日誌關鍵字

在使用日誌監控前，需要您確保收集到日誌服務中的日誌已經被切分為Key-Valve格式。參考常見日誌格式的處理方法。

日誌樣例

2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
2017-06-21 14:38:05 [INFO] [impl.ShopServiceImpl] execute_fail and run time is 100ms,reason:user_id invalid
2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_success, wait moment ,reason:user_id invalid
2017-06-21 14:38:05 [WARN] [impl.UserServiceImpl] execute_fail and run time is 100msuserid=
2017-06-21 14:38:06 [WARN] [impl.FavServiceImpl] execute_fail, wait moment userid=
2017-06-21 14:38:06 [ERROR] [impl.UserServiceImpl] userid=, action=, test=, wait moment ,reason:user_id invalid

切分成如下字段

Key	Value
content	2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
content	2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
content	2017-06-21 14:38:06 [ERROR] [impl.ShopServiceImpl] execute_success:send msg,200ms
content	... ...

1. 授權雲監控隻讀權限。

進入雲監控首頁，選擇**日誌監控**功能。
- 按照頁麵提示，點擊“這裏”進行授權。初次使用日誌監控功能時需要授權，後續不再需要授權。授權後雲監控會獲得讀取您日誌數據的權限，並且僅用於按照您配置的處理規則進行日誌數據處理的用途。

2. 配置統計方式

授權後可進入如下日誌監控列表頁麵。
點擊“新建日誌監控”，進入創建頁麵。
- 關聯資源，選擇您需要進行關鍵字統計的日誌服務資源。
- 預覽數據：如果您選擇的日誌服務中已經寫入數據，可以在第二步分析日誌的預覽框中查看到原始的日誌數據。
- 分析日誌，本步驟用於定義如何處理日誌數據。不支持日誌的字段名稱為中文。這裏以統計ERROR關鍵字數量為例，統計日誌每分鍾出現的ERROR關鍵字數量。通過“日誌篩選”過濾出content中包含“ERROR”關鍵字的日誌記錄，並通過“統計方法”中的計數（Count）方法計算篩選後的記錄數。
- 點擊“確定”按鈕後保存配置。