633
小米MIX
日志库(Logstore)__基础概念_用户指南_日志服务-阿里云
日志库(Logstore)是日志服务中的日志存储和查询单元,通常用于存储一类日志数据。
- 无论是写入或者查询日志,用户都需要指定操作的日志库。
- 如果用户希望投递日志数据到ODPS做离线分析,其数据投递也是以Logstore为单元进行数据同步(即一个Logstore内的日志数据投递到一张ODPS的Table)。
具体来说,Logstore提供如下功能:
- 收集日志,支持实时日志写入。
- 存储日志,支持实时消费。
- 建立索引,支持日志实时查询。
- 提供投递到ODPS的数据通道。
本章接下来将详细解释如何操作和使用Logstore。
创建Logstore
目前,日志服务支持在控制台或者通过API创建Logstore。你可以参考日志库操作了解如何在控制上创建一个Logstore,使用API创建Logstore请参考CreateLogstore。在创建Logstore时需要注意如下几点:
- 任何一个Logstore必须在某一个Project下创建,且一个Project下最多可以创建100个Logstore。
- Logstore名字只能包括小写字母,数字,短横线(-)和下划线(_),必须以小写字母或者数字开头和结尾,长度必须在3-63字节以内。且Logstore名称在其所属项目内必须唯一。
- Logstore目前支持“日志消费”,“日志投递”和“日志索引”三种消费模式,其中“日志消费”消费模式是默认打开的,且用户无法禁用该模式。
向Logstore写入日志
在创建完Logstore之后,用户就可以使用LogHub采集功能向Logstore写入日志。目前,日志服务支持通过API或者SDK来写入日志数据。如果用户希望收集阿里云ECS服务器的数据,日志服务提供的Logtail日志收集可以帮助用户非常方便的收集到日志数据。
正如核心概念章节所述,日志服务的日志数据模型为一个半结构化格式。用户需要按照日志数据模型组织日志数据,然后写入指定的Logstore。
消费Logstore中的日志
如前面所述,“日志消费”消费模式是默认开启的,因此用户可以实时通过指定游标(Cursor)和分区(shard)大批量消费日志数据。你可以通过日志服务的API或者SDK查询Logstore中的日志。同时,日志服务控制台也提供了日志预览界面,直观显示日志内容等。具体请参考日志消费预览。
关键词查询Logstore中的日志
在启动“日志索引”消费模式后,用户的每条写入日志都会被日志服务端建立索引。因此,用户得以在海量日志数据上完成近实时的日志查询操作。日志服务提供灵活的查询语法让用户可以方便、快速的检索出感兴趣的日志数据。
Logstore下二级分类:主题(Topic)
为了帮助用户在“日志索引”模式内更好组织日志,日志服务支持日志主题(Topic)。用户在写入日志的时候可以指定该日志所属Topic。在写入后即可以限制在一个Topic内进行查询。
每个logstore根据topic可以划分成一个或多个子空间,当进行查询时,指定topic可以限定查询范围,达到更快速度。因此我们推荐对logstore有二级分类需求的用户用户使用topic进行划分。
当指定一个或多个topic进行查询时,仅从符合条件的topic中进行查询。但不输入topic,默认查询所有topic下的数据。
你可以通过日志服务的API或者SDK查询Logstore中的日志。同时,日志服务控制台也提供了强大的日志查询页面帮助用户查询日志,直观显示查询结果等。具体请参考日志查询。
删除Logstore
在某些情况下(如希望废弃某个Logstore),用户可能需要删除指定Logstore。日志服务允许用户在控制台上删除Logstore。一旦Logstore删除,其存储的日志数据将会被永久丢失,不可恢复。如果该Logstore上还启用了“日志投递”的消费模式,则不保证删除前Logstore里的所有数据都会成功投递到ODPS中。如果用户需要保证被删除的Logstore内所有数据都能投递到ODPS,请按照如下流程操作:
- 删除前先停止向该Logstore写入新日志。
- 确认Logstore里的所有日志数据都成功导入到ODPS。
- 删除Logstore。
同样,日志库操作提供控制台删除Logstore的具体操作方式。
最后更新:2016-12-12 23:21:15
上一篇:
项目(Project)__基础概念_用户指南_日志服务-阿里云
下一篇:
分区(Shard)__基础概念_用户指南_日志服务-阿里云
4.4 多计算引擎和Hint__第四章 DML_使用手册_分析型数据库-阿里云
查询伸缩组内ECS实例列表__伸缩组相关接口_API参考_弹性伸缩-阿里云
UpdateRole__角色管理接口_RAM API文档_访问控制-阿里云
验证模板信息__模板相关接口_API 文档_资源编排-阿里云
全国各省经营性备案网站链接__公安&经营性备案_常见问题_备案-阿里云
云数据库RDS监控__云服务监控_用户指南_云监控-阿里云
安全控制__用户指南_云数据库 MongoDB 版-阿里云
iOS SDK开发指南__类型5:移动加速_用户指南_CDN-阿里云
卸载Agent__Agent_服务器安全(安骑士)-阿里云
ALIYUN::RAM::AccessKey__资源列表_资源编排-阿里云
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云