228
財經資訊
查詢方案(ELK/Hive)對比__logsearch_用戶指南_日誌服務-阿裏雲
DevOps場景日誌查詢方案對比:ELK(搜索類)、Hadoop/Hive
在互聯網大潮中,為應對不斷加速的軟件、服務交付需求,無論是在創業團隊還是大型互聯網公司,都已經轉向或逐步轉向DevOps模式,通過開發(Dev)和運維支持(Ops)之間有效協作,解決誇部門協作、快速響應客戶需求、進行持續交付。
日誌在DevOps下顯得越發重要,無論是在問題調查、安全審計、運營支撐等各方麵,日誌都起到了重要的支撐作用。一個合適的日誌解決方案,對於DevOps顯得尤為重要。
我們從如下方麵考察LogSearch與ELK、Hadoop/Hive類方案的對比:
- 延時:日誌產生後,多久可查詢
- 查詢能力:單位時間掃描數據量
- 查詢功能:關鍵詞查詢、條件組合查詢、模煳查詢、數值比較、上下文查詢
- 彈性:快速應對百倍流量上漲
- 成本:每GB費用
- 可靠性:日誌數據安全不丟失
常用方案以及對比
- 自建ELK:通過Elastic、Logstash、Kibana進行對比
- 離線Hadoop + Hive:將數據存儲在Hadoop,利用Hive或Presto進行查詢(非分析)
- 使用日誌服務(LogSearch)
以應用程序日誌和nginx訪問日誌為例(每天10GB),對比幾種方案。
功能項 | ELK類係統 | hadoop + hive | 日誌服務 |
---|---|---|---|
可查延時 | 1~60秒(由refresh_interval控製) | 幾分鍾~數小時 | 1~3秒 |
查詢延時 | 小於1秒 | 分鍾級 | 小於1秒 |
超大查詢 | 幾十秒~數分鍾 | 分鍾級 | 秒級(查詢10億日誌) |
關鍵詞查詢 | 支持 | 支持 | 支持 |
模煳查詢 | 支持 | 支持 | 支持 |
上線文查詢 | 不支持 | 不支持 | 支持 |
數值比較 | 支持 | 支持 | 目前不支持(ETA:2017/2) |
連續字符串查詢 | 支持 | 支持 | 不支持 |
彈性 | 提前預備機器 | 提前預備機器 | 秒級10倍擴容 |
寫入成本 | 寫入5元/GB,查詢免費 | 寫入免費, 查詢一次0.3元/GB | 寫入0.5元/GB,查詢免費 |
存儲成本 | <= 3.36 元/GB*天 | <= 0.035 元/GB*天 | <= 0.016 元/GB*天 |
可靠性 | 設置拷貝數 | 設置拷貝數 | SLA>99.9%,數據>99.99999999% |
最後更新:2016-12-13 11:50:57
上一篇:
查詢日誌__logsearch_用戶指南_日誌服務-阿裏雲
下一篇:
上下文查詢__logsearch_用戶指南_日誌服務-阿裏雲
雲服務器 ECS使用鏡像創建實例
買域名必須實名認證嗎,實名認證需要提供什麼資料?__域名資料提交_管理操作_域名-阿裏雲
短信顯示號碼及顯號規則是怎麼規定的__常見問題_短信服務-阿裏雲
停止應用__應用管理類 API_Open API 參考_企業級分布式應用服務 EDAS-阿裏雲
查詢所有地域下未關聯任何實例的安全組 ID__腳本使用示例_用戶指南_命令行工具 CLI-阿裏雲
設備控製共享__共享中心_控製台使用手冊_阿裏雲物聯網套件-阿裏雲
桌麵環境設置__操作指南_高性能計算-阿裏雲
Endpoint__基本概念_API使用手冊_消息服務-阿裏雲
如何申請專場培訓課程__專場培訓課程_上雲培訓-阿裏雲
MonitorDataItem數據類型__數據類型_API 手冊_CDN-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲