228
微信
查询方案(ELK/Hive)对比__logsearch_用户指南_日志服务-阿里云
DevOps场景日志查询方案对比:ELK(搜索类)、Hadoop/Hive
在互联网大潮中,为应对不断加速的软件、服务交付需求,无论是在创业团队还是大型互联网公司,都已经转向或逐步转向DevOps模式,通过开发(Dev)和运维支持(Ops)之间有效协作,解决夸部门协作、快速响应客户需求、进行持续交付。
日志在DevOps下显得越发重要,无论是在问题调查、安全审计、运营支撑等各方面,日志都起到了重要的支撑作用。一个合适的日志解决方案,对于DevOps显得尤为重要。
我们从如下方面考察LogSearch与ELK、Hadoop/Hive类方案的对比:
- 延时:日志产生后,多久可查询
- 查询能力:单位时间扫描数据量
- 查询功能:关键词查询、条件组合查询、模糊查询、数值比较、上下文查询
- 弹性:快速应对百倍流量上涨
- 成本:每GB费用
- 可靠性:日志数据安全不丢失
常用方案以及对比
- 自建ELK:通过Elastic、Logstash、Kibana进行对比
- 离线Hadoop + Hive:将数据存储在Hadoop,利用Hive或Presto进行查询(非分析)
- 使用日志服务(LogSearch)
以应用程序日志和nginx访问日志为例(每天10GB),对比几种方案。
功能项 | ELK类系统 | hadoop + hive | 日志服务 |
---|---|---|---|
可查延时 | 1~60秒(由refresh_interval控制) | 几分钟~数小时 | 1~3秒 |
查询延时 | 小于1秒 | 分钟级 | 小于1秒 |
超大查询 | 几十秒~数分钟 | 分钟级 | 秒级(查询10亿日志) |
关键词查询 | 支持 | 支持 | 支持 |
模糊查询 | 支持 | 支持 | 支持 |
上线文查询 | 不支持 | 不支持 | 支持 |
数值比较 | 支持 | 支持 | 目前不支持(ETA:2017/2) |
连续字符串查询 | 支持 | 支持 | 不支持 |
弹性 | 提前预备机器 | 提前预备机器 | 秒级10倍扩容 |
写入成本 | 写入5元/GB,查询免费 | 写入免费, 查询一次0.3元/GB | 写入0.5元/GB,查询免费 |
存储成本 | <= 3.36 元/GB*天 | <= 0.035 元/GB*天 | <= 0.016 元/GB*天 |
可靠性 | 设置拷贝数 | 设置拷贝数 | SLA>99.9%,数据>99.99999999% |
最后更新:2016-12-13 11:50:57
上一篇:
查询日志__logsearch_用户指南_日志服务-阿里云
下一篇:
上下文查询__logsearch_用户指南_日志服务-阿里云
云服务器 ECS使用镜像创建实例
买域名必须实名认证吗,实名认证需要提供什么资料?__域名资料提交_管理操作_域名-阿里云
短信显示号码及显号规则是怎么规定的__常见问题_短信服务-阿里云
停止应用__应用管理类 API_Open API 参考_企业级分布式应用服务 EDAS-阿里云
查询所有地域下未关联任何实例的安全组 ID__脚本使用示例_用户指南_命令行工具 CLI-阿里云
设备控制共享__共享中心_控制台使用手册_阿里云物联网套件-阿里云
桌面环境设置__操作指南_高性能计算-阿里云
Endpoint__基本概念_API使用手册_消息服务-阿里云
如何申请专场培训课程__专场培训课程_上云培训-阿里云
MonitorDataItem数据类型__数据类型_API 手册_CDN-阿里云
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云