895 阿裏雲技術社區[雲棲]

協同消費延遲報警

協同消費庫（ConsumerLibrary) 是並行對 LogHub 中日誌進行消費的高級模式，提供了消費組（ConsumerGroup）概念對實時消費端進行抽象與管理。Spark Streaming、Storm、即將推出的 Flink SDK 都是基於這種模式的包裝。

注意：有關 ConsumerGroup 概念及使用方法，參考下麵的文檔：
1. 通過 ConsumerLib 實現不丟、保序、去重
2. ConsumerLib 使用
3. 查看協同消費進度

消費組消費進度與報警

ConsumerGroup 是一個消費者組，包含多個 consumer，每個 consumer 消費 Logstore 中的一部分 shard。
shard 的數據模型可以簡單理解成一個隊列，新寫入的數據被加到隊尾，隊列中的每條數據都會對應一個數據寫入時間，下圖是 shard 的數據模型。

要理解報警首先要理解下麵幾個概念：
消費過程：消費者從隊頭開始順序讀取數據的過程。
消費進度：消費者當前讀取的數據對應的寫入時間。
消費落後時長：當前消費進度和隊列中最新的數據寫入時間的差值，單位為秒。
ConsumerGroup 的消費落後時長取其包含的所有 shard 的消費落後時長的最大值，當超過用戶預設閾值時，就認為消費落後太多，需要報警。

配置方法

登錄日誌服務管理控製台，單擊需要監控的 Logstore 的監控圖標。
找到消費落後時長圖表，單擊進入雲監控控製台。
該圖展示了 Logstore 下所有 ConsumerGroup 的消費落後時長，單位為秒。紅框中圖例便是所有的 ConsumerGroup，單擊右上角創建報警規則進入規則創建頁麵。
創建針對 ConsumerGroup spamdetector-report-c 的報警規則，5min 內隻要有一次大於等於 600 秒就報警。設置生效時間和報警通知聯係人，保存規則。