397 阿裏雲技術社區[雲棲]

5.22成都workshop：4. 遊戲日誌采集與分析

實驗： https://yq.aliyun.com/articles/86538

實驗目標

日誌數據如何上雲
常用日誌處理的幾種模式
1. 索引與查詢
2. 實時計算：演示雲監控
3. 離線存儲：OSS 存儲與計算

0. 準備步驟

為了保證課程順利，實驗環境已經默認安裝日誌收集客戶端（Logtail），如需要手動設置，請參考準備步驟

1. 日誌采集步驟

登陸日誌服務控製台，開始創建配置
在“華東2區域”創建項目Project，Logstore
- project: workshop-game（注意：project名稱需要全局唯一，例如workshop-test-123）
- logstore：gamelog
創建日誌收集配置文件
1. 配置名稱：gameserver
2. 日誌路徑：目錄 /root/demo 文件 game.log
3. 模式：選擇分隔符模式
4. 將要ECS中的game.log獲取一行，並放入日誌樣例中 2017-05-16 09:20:05,123456,testuser,10499,24200,buy,item:123456,77,66,2500043,200,4G,Android 7.8.1
5. 分隔符：選擇自定義，使用","作為分隔符
6. 為字段增加屬性 | Key | value | | ------------ | ------------------- | | time | 2017-05-16 09:20:05 | | user-id | 123456 | | username | testuser | | pos-x | 10499 | | pos-y | 24200 | | action | buy | | action-param | {"item":“1234567”} | | blood | 77 | | magic | 66 | | money | 2500043 | | status | 200 | | network | 4G | | device | Android 7.8.1 |
創建機器分組，將配置文件應用帶機器分組後，日誌就會自動開始采集
1. 機器組名稱：gameserver
2. 在IP地址中填寫ECS內網IP地址（在我們的例子中是“10.174.149.160”），可以通過ECS控製台進行查看，其中的內網IP
3. 創建完成後，將配置勾選，並應用到機器組
4. 可以通過左邊菜單：LogHub-實時采集 / Logtail機器組 / 查看狀態，查看機器上Logtail 是否安裝完成
配置應用後一分鍾內，日誌就會被采集，通過監控或預覽可以進行查看
通過預覽，我們可以看到日誌已被實時收集了

2. 日誌索引與查詢

日誌實時收集後，我們可以通過計算程序對日誌進行流計算，例如監控等。除此之外，我們可以對日誌建立索引，進行實時日誌查詢與分析。
在左側菜單點擊日誌庫，查詢按鈕進入日誌查詢頁麵
日誌需要通過索引（類似搜索引擎）後，就能進行查詢。我們對於不同Key建立不同索引
在輸入框中輸入"username:testuser "獲得用戶名為testuser操作日誌
可以加入更多條件，例如"username:testuser and action:sell" 查看滿足這兩個條件的日誌
通過點擊上下文瀏覽，可以查看某條日誌在原始日誌文件中的上下文（一般用來進行錯誤調查）
我們還可以在搜索框中做一些查詢統計功能，例如線上有一個需求：我們需要對線上玩得比較多，但血量比較少，金錢也不多但經常玩的用戶提供一些代金券，可以提交如下query
```
blood<400  and money<3000 | select username, count(*) as c group by username having count(*) > 100 order by c desc
```
在控製台獲得如下結果：