898      阿裏雲

消費日誌__loghub-消費_用戶指南_日誌服務-阿裏雲

數據收集至日誌服務LogHub後，有三種方法可以消費日誌：

實時消費

在寫入日誌後，最基本功能就是如何消費日誌（消費日誌與查詢日誌都意味著“讀取”日誌，兩者區別見這裏）。對於一個Shard中日誌，消費過程如下：

1. 根據時間、Begin、End等條件獲得遊標
2. 通過遊標、步長參數讀取日誌，同時返回下一個位置遊標
3. 不斷移動遊標進行日誌消費

除最基本的API外，日誌服務提供SDK，Storm Spout, Spark Client，Web Console等方式進行日誌消費：

• 使用Spark Client消費日誌: 參考EMR SDK/Log Service章節。
• 使用Storm Spout消費日誌:日誌服務提供一個Loghub Storm Spout來完成storm和loghub對接
• 使用StreamCompute消費日誌：在StreamCompute中創建一個數據源完成和loghub對接
• 使用loghub client lib消費日誌Loghub Consumer Library是對LogHub消費者提供的高級模式，解決多個消費者同時消費logstore時自動分配shard問題。
• 使用SDK消費日誌：日誌服務提供多種語言（Java和Python）的SDK，且這些語言的SDK都支持日誌消費接口。關於SDK的更多信息請參考日誌服務SDK。
• 訪問日誌統計鏡像：對常用日誌進行實時分析Docker鏡像，免費使用

索引查詢

• 使用日誌服務控製消費日誌：可以參考日誌庫操作了解控製台上的消費日誌界麵及交互方式
• 使用日誌服務SDK/API查詢日誌:日誌服務提供REST風格的API，基於HTTP協議實現。日誌服務的API同樣提供全功能的日誌查詢接口。具體參考請見日誌服務API

投遞存儲

• 投遞OSS：長時間存儲、或使用E-MapReduce分析日誌
• 投遞表格存儲（TS）: 使用表格存儲（NoSQL）存儲日誌
• 投遞MaxCompute：使用ODPS分析日誌

其他

• 安全日誌服務: 日誌服務與安全雲產品對接，可通過ISV消費雲產品日誌

最後更新：2016-11-23 16:04:02

  上一篇： unity3d__loghub-采集_用戶指南_日誌服務-阿裏雲

  下一篇： 多實例協同消費__loghub-消費_用戶指南_日誌服務-阿裏雲