阅读228 返回首页    go 微信


查询方案(ELK/Hive)对比__logsearch_用户指南_日志服务-阿里云

DevOps场景日志查询方案对比:ELK(搜索类)、Hadoop/Hive

在互联网大潮中,为应对不断加速的软件、服务交付需求,无论是在创业团队还是大型互联网公司,都已经转向或逐步转向DevOps模式,通过开发(Dev)和运维支持(Ops)之间有效协作,解决夸部门协作、快速响应客户需求、进行持续交付。

日志在DevOps下显得越发重要,无论是在问题调查、安全审计、运营支撑等各方面,日志都起到了重要的支撑作用。一个合适的日志解决方案,对于DevOps显得尤为重要。

我们从如下方面考察LogSearch与ELK、Hadoop/Hive类方案的对比:

  • 延时:日志产生后,多久可查询
  • 查询能力:单位时间扫描数据量
  • 查询功能:关键词查询、条件组合查询、模糊查询、数值比较、上下文查询
  • 弹性:快速应对百倍流量上涨
  • 成本:每GB费用
  • 可靠性:日志数据安全不丢失

常用方案以及对比

  • 自建ELK:通过Elastic、Logstash、Kibana进行对比
  • 离线Hadoop + Hive:将数据存储在Hadoop,利用Hive或Presto进行查询(非分析)
  • 使用日志服务(LogSearch)

以应用程序日志和nginx访问日志为例(每天10GB),对比几种方案。

功能项 ELK类系统 hadoop + hive 日志服务
可查延时 1~60秒(由refresh_interval控制) 几分钟~数小时 1~3秒
查询延时 小于1秒 分钟级 小于1秒
超大查询 几十秒~数分钟 分钟级 秒级(查询10亿日志)
关键词查询 支持 支持 支持
模糊查询 支持 支持 支持
上线文查询 不支持 不支持 支持
数值比较 支持 支持 目前不支持(ETA:2017/2)
连续字符串查询 支持 支持 不支持
弹性 提前预备机器 提前预备机器 秒级10倍扩容
写入成本 写入5元/GB,查询免费 写入免费, 查询一次0.3元/GB 写入0.5元/GB,查询免费
存储成本 <= 3.36 元/GB*天 <= 0.035 元/GB*天 <= 0.016 元/GB*天
可靠性 设置拷贝数 设置拷贝数 SLA>99.9%,数据>99.99999999%

最后更新:2016-12-13 11:50:57

  上一篇:go 查询日志__logsearch_用户指南_日志服务-阿里云
  下一篇:go 上下文查询__logsearch_用户指南_日志服务-阿里云