閱讀228 返回首頁    go 財經資訊


查詢方案(ELK/Hive)對比__logsearch_用戶指南_日誌服務-阿裏雲

DevOps場景日誌查詢方案對比:ELK(搜索類)、Hadoop/Hive

在互聯網大潮中,為應對不斷加速的軟件、服務交付需求,無論是在創業團隊還是大型互聯網公司,都已經轉向或逐步轉向DevOps模式,通過開發(Dev)和運維支持(Ops)之間有效協作,解決誇部門協作、快速響應客戶需求、進行持續交付。

日誌在DevOps下顯得越發重要,無論是在問題調查、安全審計、運營支撐等各方麵,日誌都起到了重要的支撐作用。一個合適的日誌解決方案,對於DevOps顯得尤為重要。

我們從如下方麵考察LogSearch與ELK、Hadoop/Hive類方案的對比:

  • 延時:日誌產生後,多久可查詢
  • 查詢能力:單位時間掃描數據量
  • 查詢功能:關鍵詞查詢、條件組合查詢、模煳查詢、數值比較、上下文查詢
  • 彈性:快速應對百倍流量上漲
  • 成本:每GB費用
  • 可靠性:日誌數據安全不丟失

常用方案以及對比

  • 自建ELK:通過Elastic、Logstash、Kibana進行對比
  • 離線Hadoop + Hive:將數據存儲在Hadoop,利用Hive或Presto進行查詢(非分析)
  • 使用日誌服務(LogSearch)

以應用程序日誌和nginx訪問日誌為例(每天10GB),對比幾種方案。

功能項 ELK類係統 hadoop + hive 日誌服務
可查延時 1~60秒(由refresh_interval控製) 幾分鍾~數小時 1~3秒
查詢延時 小於1秒 分鍾級 小於1秒
超大查詢 幾十秒~數分鍾 分鍾級 秒級(查詢10億日誌)
關鍵詞查詢 支持 支持 支持
模煳查詢 支持 支持 支持
上線文查詢 不支持 不支持 支持
數值比較 支持 支持 目前不支持(ETA:2017/2)
連續字符串查詢 支持 支持 不支持
彈性 提前預備機器 提前預備機器 秒級10倍擴容
寫入成本 寫入5元/GB,查詢免費 寫入免費, 查詢一次0.3元/GB 寫入0.5元/GB,查詢免費
存儲成本 <= 3.36 元/GB*天 <= 0.035 元/GB*天 <= 0.016 元/GB*天
可靠性 設置拷貝數 設置拷貝數 SLA>99.9%,數據>99.99999999%

最後更新:2016-12-13 11:50:57

  上一篇:go 查詢日誌__logsearch_用戶指南_日誌服務-阿裏雲
  下一篇:go 上下文查詢__logsearch_用戶指南_日誌服務-阿裏雲