阅读124 返回首页    go 阿里云 go 技术社区[云栖]

日志导出工具__开发者工具_消息服务-阿里云

提供日志导出功能，将保存在OSS的日志导出到阿里云日志服务进行查询、分析。

环境依赖

此工具适用于Python 2.6/2.7 版本，Windows平台和Linux平台均可使用。

使用帮助

1. 准备

如果你已经充分了解阿里云日志服务，并且已创建Project、LogStore以及相关索引，请跳过此步骤。

1.1 开通日志服务

  • 登陆阿里云官网，进入日志服务产品页；
  • 单击 立即开通 开通日志服务；

1.2 创建Project

1.3 创建LogStore

  • 单击Project右侧的 管理 进入管理页面；
  • 单击 创建 进入LogStore创建页面；
  • 单击 取消 关闭提示窗口，因为后面会使用工具导入日志，无需配置logtail；

1.4 创建索引

直接创建默认的索引即可支持大部分查询，如果需要进行更复杂的查询，请参考文档设置其它索引。

2. 使用工具导出日志

此工具无需安装，下载工具包后，解压进入mnslog_export目录。

  • 命令
  1. python2.7 mnslog_export.py --access_id=xxx --access_key=xxx --oss_host=xxx --log_bucket=xxx --sls_project=xxx --sls_logstore=xxx --sls_host=xxx --queue_name=xxx
  • 参数解析
参数名 解析
access_id 阿里云服务使用 AccessKeyID，登陆AccessKey管理页面查看
access_key 阿里云服务使用 AccessKeySecret，登陆AccessKey管理页面查看
oss_host OSS 接入地址，请在控制台 bucket 概览中获得这个参数, 比如杭州地区的地址是：oss-cn-hangzhou.aliyuncs.com
log_bucket 保存MNS日志的 bucket 名称，请在MNS控制台的日志管理页面查看
start_time 导日志的起始时间，比如 201503270102, 表示从2015年3月27号1点02分的日志开始
end_time 导日志的截至时间，不包含该时间，比如201603270302, 表示到2016年3月27号3点02分截止
sls_host sls的接入地址，请从日志服务官网获取，比如杭州地区的地址是： cn-hangzhou.sls.aliyun.com
sls_project 指定日志导入的 sls project 名称，即第 1.2 步中创建的 Project 名称
sls_logstore 指定日志导入 的sls logsotre 名称，即第 1.3 步中创建的logstore名称
queue_name 指定需要导入日志的队列名称，queue_name 和 topic_name 只能选择一个
topic_name 指定需要导入日志的主题名称，queue_name 和 topic_name 只能选择一个
  • 示例

  • 注意事项

    1. 日志服务只支持导入 7天内的日志，如果start_time太早，工具写日志服务提示失败。

    2. 运行完mnslog_export.py成功上传了日志到sls之后，强烈建议等待60s之后再进入sls控制台进行查询检索，否则可能会出现新上传的数据无法检索显示！

3. 查询日志

将日志从 OSS 导入日志服务1分钟后，即可在日志服务的控制台进行查询。

  • 单击 LogStore 右侧的的 查询 进入日志查询页面；
  • 选择合适的时间范围，单击 搜索 将展示时间范围内所有日志；
  • 单击某个MessageId，即可搜索包含该MessageId的所有日志；

下载

准备

  • 此工具需安装protobuf和simplejson，详情参考链接；

  • windows环境安装详细指导

第一阶段：安装python以及pip工具

  1. 进入python官网下载（https://www.python.org/downloads/） 2.7版本python安装包，下载完之后进行安装（例如安装到”D:Python27”目录）。
  2. 鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python安装路径 -> 点击确定。
  3. 进入pip官网（https://pypi.python.org/pypi/pip#downloads） 下载pip-8.1.2.tar.gz文件，下载完毕之后解压缩。
  4. 进入windows命令行cmd（windows7及以上版本可以使用更加人性化的Windows PowerShell ISE)界面，进入到pip的解压所目录，运行
    1. python setup.py install
  5. 鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python的Scripts目录(本例中为”D:Python27Scripts”) -> 点击确定。

第二阶段：使用pip安装必须protobuf和simplejson组件；

  1. 安装protobuf

    1. pip install protobuf

  2. 安装requests

    1. pip install requests

  3. 安装simplejson

    1. pip install simplejson

如果上述命令报超时，连接不上等错误，请进行如下尝试：

a. 进入当前用户的HOME路径 （C:Users$username)创建.pip文件夹以及pip.conf文件

b. 打开pip.conf文件输入如下内容：

  1. [global]
  2. index-url = https://pypi.v2ex.com/simple

c. 配置完上述之后，重新运行第二阶段中的安装步骤，建议在命令后带上—default-timeout 100选项。

Version 1.0.0

  • 更新日期： 2016-04-20 下载
  • 功能更新
    • 支持将队列/主题的操作日志从OSS导出到阿里云日志服务进行分析查询；

特别注意

运行完mnslog_export.py成功上传了日志到sls之后，强烈建议等待60s之后再进入sls控制台进行查询检索，否则可能会出现新上传的数据无法检索显示！

最后更新：2016-11-23 16:03:56

  上一篇：go 日志查询工具__开发者工具_消息服务-阿里云
  下一篇：go 开发辅助工具(主题)__开发者工具_消息服务-阿里云