閱讀750 返回首頁    go 阿裏雲 go 技術社區[雲棲]


日誌消費與查詢區別__常見問題_日誌服務-阿裏雲

日誌服務提供了兩項功能都和“讀”有關:

日誌收集與消費(LogHub):提供公共的日誌收集、分發通道。全量數據順序(FIFO)讀寫,提供類似Kafka的功能

  • 每個LogStore有一個或多個Shard,數據寫入時,隨機落到某一個shard中
  • 可以從指定shard中,按照日誌寫入shard的順序批量讀取日誌
  • 可以根據server端接收日誌的時間,設置批量拉取shard日誌的起始位置(cursor)
  • 日誌在LogHub中,默認保留2天時間,在此期間,日誌可消費

日誌查詢(Index):在LogHub基礎上提供海量日誌查詢功能,根據關鍵詞的數據隨機查詢

  • 通過關鍵詞查找,隻抓取符合要求的數據
  • 支持關鍵詞 AND、NOT、OR的布爾組合
  • 數據查詢不區分shard

兩者區別

功能 日誌查詢(LogSearch) 日誌收集與消費(LogHub)
關鍵詞查找 支持 不支持
小量數據讀取
全量數據讀取 慢(100條日誌100ms,不建議這樣使用) 快 (1MB日誌10ms,推薦方式)
讀取是否區分topic 區分 不區分,隻以shard作為標識
讀取是否區分shard 不區分,查詢所有shard 區分,單次讀取需要指定shard
費用 較高
適用場景 監控、問題調查等需要過濾數據的場景 流式計算、批量處理等全量處理場景

最後更新:2016-11-24 11:23:47

  上一篇:go API及SDK__常見問題_日誌服務-阿裏雲
  下一篇:go 日誌服務監控指標__常見問題_日誌服務-阿裏雲