閱讀124 返回首頁    go 阿裏雲 go 技術社區[雲棲]

日誌導出工具__開發者工具_消息服務-阿裏雲

提供日誌導出功能，將保存在OSS的日誌導出到阿裏雲日誌服務進行查詢、分析。

環境依賴

此工具適用於Python 2.6/2.7 版本，Windows平台和Linux平台均可使用。

使用幫助

1. 準備

如果你已經充分了解阿裏雲日誌服務，並且已創建Project、LogStore以及相關索引，請跳過此步驟。

1.1 開通日誌服務

  • 登陸阿裏雲官網，進入日誌服務產品頁；
  • 單擊 立即開通 開通日誌服務；

1.2 創建Project

1.3 創建LogStore

  • 單擊Project右側的 管理 進入管理頁麵；
  • 單擊 創建 進入LogStore創建頁麵；
  • 單擊 取消 關閉提示窗口，因為後麵會使用工具導入日誌，無需配置logtail；

1.4 創建索引

直接創建默認的索引即可支持大部分查詢，如果需要進行更複雜的查詢，請參考文檔設置其它索引。

2. 使用工具導出日誌

此工具無需安裝，下載工具包後，解壓進入mnslog_export目錄。

  • 命令
  1. python2.7 mnslog_export.py --access_id=xxx --access_key=xxx --oss_host=xxx --log_bucket=xxx --sls_project=xxx --sls_logstore=xxx --sls_host=xxx --queue_name=xxx
  • 參數解析
參數名 解析
access_id 阿裏雲服務使用 AccessKeyID，登陸AccessKey管理頁麵查看
access_key 阿裏雲服務使用 AccessKeySecret，登陸AccessKey管理頁麵查看
oss_host OSS 接入地址，請在控製台 bucket 概覽中獲得這個參數, 比如杭州地區的地址是：oss-cn-hangzhou.aliyuncs.com
log_bucket 保存MNS日誌的 bucket 名稱，請在MNS控製台的日誌管理頁麵查看
start_time 導日誌的起始時間，比如 201503270102, 表示從2015年3月27號1點02分的日誌開始
end_time 導日誌的截至時間，不包含該時間，比如201603270302, 表示到2016年3月27號3點02分截止
sls_host sls的接入地址，請從日誌服務官網獲取，比如杭州地區的地址是： cn-hangzhou.sls.aliyun.com
sls_project 指定日誌導入的 sls project 名稱，即第 1.2 步中創建的 Project 名稱
sls_logstore 指定日誌導入 的sls logsotre 名稱，即第 1.3 步中創建的logstore名稱
queue_name 指定需要導入日誌的隊列名稱，queue_name 和 topic_name 隻能選擇一個
topic_name 指定需要導入日誌的主題名稱，queue_name 和 topic_name 隻能選擇一個
  • 示例

  • 注意事項

    1. 日誌服務隻支持導入 7天內的日誌，如果start_time太早，工具寫日誌服務提示失敗。

    2. 運行完mnslog_export.py成功上傳了日誌到sls之後，強烈建議等待60s之後再進入sls控製台進行查詢檢索，否則可能會出現新上傳的數據無法檢索顯示！

3. 查詢日誌

將日誌從 OSS 導入日誌服務1分鍾後，即可在日誌服務的控製台進行查詢。

  • 單擊 LogStore 右側的的 查詢 進入日誌查詢頁麵；
  • 選擇合適的時間範圍，單擊 搜索 將展示時間範圍內所有日誌；
  • 單擊某個MessageId，即可搜索包含該MessageId的所有日誌；

下載

準備

  • 此工具需安裝protobuf和simplejson，詳情參考鏈接；

  • windows環境安裝詳細指導

第一階段：安裝python以及pip工具

  1. 進入python官網下載（https://www.python.org/downloads/） 2.7版本python安裝包，下載完之後進行安裝（例如安裝到”D:Python27”目錄）。
  2. 鼠標右鍵我的電腦 -> 屬性 -> 點擊高級係統設置 -> 點擊環境變量 -> 點擊PATH -> 在最後麵加上我們的Python安裝路徑 -> 點擊確定。
  3. 進入pip官網（https://pypi.python.org/pypi/pip#downloads） 下載pip-8.1.2.tar.gz文件，下載完畢之後解壓縮。
  4. 進入windows命令行cmd（windows7及以上版本可以使用更加人性化的Windows PowerShell ISE)界麵，進入到pip的解壓所目錄，運行
    1. python setup.py install
  5. 鼠標右鍵我的電腦 -> 屬性 -> 點擊高級係統設置 -> 點擊環境變量 -> 點擊PATH -> 在最後麵加上我們的Python的Scripts目錄(本例中為”D:Python27Scripts”) -> 點擊確定。

第二階段：使用pip安裝必須protobuf和simplejson組件；

  1. 安裝protobuf

    1. pip install protobuf

  2. 安裝requests

    1. pip install requests

  3. 安裝simplejson

    1. pip install simplejson

如果上述命令報超時，連接不上等錯誤，請進行如下嚐試：

a. 進入當前用戶的HOME路徑 （C:Users$username)創建.pip文件夾以及pip.conf文件

b. 打開pip.conf文件輸入如下內容：

  1. [global]
  2. index-url = https://pypi.v2ex.com/simple

c. 配置完上述之後，重新運行第二階段中的安裝步驟，建議在命令後帶上—default-timeout 100選項。

Version 1.0.0

  • 更新日期： 2016-04-20 下載
  • 功能更新
    • 支持將隊列/主題的操作日誌從OSS導出到阿裏雲日誌服務進行分析查詢；

特別注意

運行完mnslog_export.py成功上傳了日誌到sls之後，強烈建議等待60s之後再進入sls控製台進行查詢檢索，否則可能會出現新上傳的數據無法檢索顯示！

最後更新：2016-11-23 16:03:56

  上一篇：go 日誌查詢工具__開發者工具_消息服務-阿裏雲
  下一篇：go 開發輔助工具(主題)__開發者工具_消息服務-阿裏雲