750
阿里云
日志消费与查询区别__常见问题_日志服务-阿里云
日志服务提供了两项功能都和“读”有关:
日志收集与消费(LogHub):提供公共的日志收集、分发通道。全量数据顺序(FIFO)读写,提供类似Kafka的功能
- 每个LogStore有一个或多个Shard,数据写入时,随机落到某一个shard中
- 可以从指定shard中,按照日志写入shard的顺序批量读取日志
- 可以根据server端接收日志的时间,设置批量拉取shard日志的起始位置(cursor)
- 日志在LogHub中,默认保留2天时间,在此期间,日志可消费
日志查询(Index):在LogHub基础上提供海量日志查询功能,根据关键词的数据随机查询
- 通过关键词查找,只抓取符合要求的数据
- 支持关键词 AND、NOT、OR的布尔组合
- 数据查询不区分shard
两者区别:
功能 | 日志查询(LogSearch) | 日志收集与消费(LogHub) |
---|---|---|
关键词查找 | 支持 | 不支持 |
小量数据读取 | 快 | 快 |
全量数据读取 | 慢(100条日志100ms,不建议这样使用) | 快 (1MB日志10ms,推荐方式) |
读取是否区分topic | 区分 | 不区分,只以shard作为标识 |
读取是否区分shard | 不区分,查询所有shard | 区分,单次读取需要指定shard |
费用 | 较高 | 低 |
适用场景 | 监控、问题调查等需要过滤数据的场景 | 流式计算、批量处理等全量处理场景 |
最后更新:2016-11-24 11:23:47
上一篇:
API及SDK__常见问题_日志服务-阿里云
下一篇:
日志服务监控指标__常见问题_日志服务-阿里云
修改伸缩组__伸缩组_用户指南_弹性伸缩-阿里云
专有网络__用户指南_E-MapReduce-阿里云
查看镜像列表__镜像与模板管理_用户指南_容器服务-阿里云
做世界云计算的“两极”,阿里云如何跨过“企业关”
新建虚拟边界路由器__高速通道相关接口_API 参考_云服务器 ECS-阿里云
应用_阿里云帮助中心-阿里云,领先的云计算服务提供商
订阅服务__使用说明_用户手册_云服务总线 CSB-阿里云
Dubbo 开发注意事项__EDAS 中的 Dubbo 开发_开发者指南_企业级分布式应用服务 EDAS-阿里云
curl正常但健康检查异常__异常排查_负载均衡-阿里云
查询CC数据__资源监控接口_API 手册_CDN-阿里云
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云