阅读633 返回首页    go 小米MIX


日志库(Logstore)__基础概念_用户指南_日志服务-阿里云

日志库(Logstore)是日志服务中的日志存储和查询单元,通常用于存储一类日志数据。

  • 无论是写入或者查询日志,用户都需要指定操作的日志库。
  • 如果用户希望投递日志数据到ODPS做离线分析,其数据投递也是以Logstore为单元进行数据同步(即一个Logstore内的日志数据投递到一张ODPS的Table)。

具体来说,Logstore提供如下功能:

  • 收集日志,支持实时日志写入。
  • 存储日志,支持实时消费。
  • 建立索引,支持日志实时查询。
  • 提供投递到ODPS的数据通道。

本章接下来将详细解释如何操作和使用Logstore。

创建Logstore

目前,日志服务支持在控制台或者通过API创建Logstore。你可以参考日志库操作了解如何在控制上创建一个Logstore,使用API创建Logstore请参考CreateLogstore。在创建Logstore时需要注意如下几点:

  1. 任何一个Logstore必须在某一个Project下创建,且一个Project下最多可以创建100个Logstore。
  2. Logstore名字只能包括小写字母,数字,短横线(-)和下划线(_),必须以小写字母或者数字开头和结尾,长度必须在3-63字节以内。且Logstore名称在其所属项目内必须唯一。
  3. Logstore目前支持“日志消费”,“日志投递”和“日志索引”三种消费模式,其中“日志消费”消费模式是默认打开的,且用户无法禁用该模式。

向Logstore写入日志

在创建完Logstore之后,用户就可以使用LogHub采集功能向Logstore写入日志。目前,日志服务支持通过API或者SDK来写入日志数据。如果用户希望收集阿里云ECS服务器的数据,日志服务提供的Logtail日志收集可以帮助用户非常方便的收集到日志数据。

正如核心概念章节所述,日志服务的日志数据模型为一个半结构化格式。用户需要按照日志数据模型组织日志数据,然后写入指定的Logstore。

消费Logstore中的日志

如前面所述,“日志消费”消费模式是默认开启的,因此用户可以实时通过指定游标(Cursor)和分区(shard)大批量消费日志数据。你可以通过日志服务的API或者SDK查询Logstore中的日志。同时,日志服务控制台也提供了日志预览界面,直观显示日志内容等。具体请参考日志消费预览

关键词查询Logstore中的日志

在启动“日志索引”消费模式后,用户的每条写入日志都会被日志服务端建立索引。因此,用户得以在海量日志数据上完成近实时的日志查询操作。日志服务提供灵活的查询语法让用户可以方便、快速的检索出感兴趣的日志数据。

Logstore下二级分类:主题(Topic)

为了帮助用户在“日志索引”模式内更好组织日志,日志服务支持日志主题(Topic)。用户在写入日志的时候可以指定该日志所属Topic。在写入后即可以限制在一个Topic内进行查询。

每个logstore根据topic可以划分成一个或多个子空间,当进行查询时,指定topic可以限定查询范围,达到更快速度。因此我们推荐对logstore有二级分类需求的用户用户使用topic进行划分。

当指定一个或多个topic进行查询时,仅从符合条件的topic中进行查询。但不输入topic,默认查询所有topic下的数据。

topic_space

你可以通过日志服务的API或者SDK查询Logstore中的日志。同时,日志服务控制台也提供了强大的日志查询页面帮助用户查询日志,直观显示查询结果等。具体请参考日志查询

删除Logstore

在某些情况下(如希望废弃某个Logstore),用户可能需要删除指定Logstore。日志服务允许用户在控制台上删除Logstore。一旦Logstore删除,其存储的日志数据将会被永久丢失,不可恢复。如果该Logstore上还启用了“日志投递”的消费模式,则不保证删除前Logstore里的所有数据都会成功投递到ODPS中。如果用户需要保证被删除的Logstore内所有数据都能投递到ODPS,请按照如下流程操作:

  1. 删除前先停止向该Logstore写入新日志。
  2. 确认Logstore里的所有日志数据都成功导入到ODPS。
  3. 删除Logstore。

同样,日志库操作提供控制台删除Logstore的具体操作方式。

最后更新:2016-12-12 23:21:15

  上一篇:go 项目(Project)__基础概念_用户指南_日志服务-阿里云
  下一篇:go 分区(Shard)__基础概念_用户指南_日志服务-阿里云