250
技術社區[雲棲]
2017雲棲大會·杭州峰會：《在線用戶行為分析：基於流式計算的數據處理及應用》之《流數據采集：海量流式視頻日誌收集》篇
實驗背景介紹
了解更多2017雲棲大會·杭州峰會 TechInsight & Workshop.
本手冊為雲棲大會Workshop之《在線用戶行為分析：基於流式計算的數據處理及應用》場的《流數據采集：海量流式視頻日誌收集》篇所需。主要幫助現場學員熟悉並掌握阿裏雲日誌服務Log的操作和使用。
實驗涉及大數據產品
前提準備
必備條件：
- 確保已經從雲中沙箱中獲取了實驗所需的阿裏雲賬號和密碼。
- 購買開通日誌服務產品。
開通日誌服務Log
- step1：進入阿裏雲日誌服務Log管控台並使用阿裏雲賬號進行登錄。
您獲得賬號需要按照引導進行自助開通日誌服務。開通後即可體驗如下課程。
- step2：進入阿裏雲日誌服務管理控製台。
創建日誌服務Project
阿裏雲日誌服務project名稱是全局唯一的，建議大家本次實驗按照workshop-abc的規則來命名，abc為您獲取的雲賬號後三位數字。如獲取雲賬號為train00620@aliyun-inc.com，那麼project名稱命名為workshop-620。
step1：點擊右上角**創建Project**進入創建Project頁麵。
step2：在彈出框中填寫需要配置的Project參數。
- Project名稱：按照workshop-abc的規則來命名，如workshop-620，620為您獲取到雲賬號後三位數字。
- 所屬區域：華東2，即上海。
- step3：點擊**確認**之後，彈出如下對話框，並點擊**創建**按鈕，進入創建LogStore頁麵。
創建日誌服務Logstore
本案例場景需要您一共創建三個Logstore，分別說明如下：
- vedio-server-log：用於收集服務端流媒體的編碼解碼等日誌。
- client-operation-log：用於收集用戶在瀏覽器、客戶端的操作日誌。
- web-tracking-log：用於演示WebTracking采集播放器操作日誌。
開始分別創建以上三個Logstore：
創建Logstore：vedio-server-log
- step1：在創建Logstore彈出框中配置如下信息。
Logstore名稱：vedio-server-log，其他均采用默認。
- step2：創建成功之後提示創建Logtail配置，點擊**創建Logtail**.
- step3：進入創建Logtail頁麵。
step3.1：選擇數據源配置中，選擇**文本文件**並點擊下一步。
step3.2：指定采集模式配置中，配置采集模式如下：
配置項說明如下：
- 配置名稱：vedio-server-log
- 日誌路徑：/root，具體日誌文件名為：vedio-server.log
- 模式：選擇JSON模式。
- step3.3：配置完采集模式後，點擊下一步進入**應用到機器組**配置頁麵，點擊**+創建機器組**：
創建機器組彈出框：
獲取ECS內網IP
- step4：登陸ECS控製台，獲取自己賬號下的ECS虛擬機的內網IP：
注意：ECS區域也是在華東2，上圖為示例圖.
- step5：將獲取到的內網IP填到IP地址框中，並填寫其他機器組名稱，具體如下：
配置項說明如下：
- 機器組名稱：myvm
- 機器組標識：選擇IP地址
- IP地址：從ECS管控台獲取到的內網IP地址。
- step6：將配置應用到機器組：
上述步驟做完之後便完成了vedio-server-log日誌的采集配置。
創建Logstore：client-operation-log
大體操作步驟同上，創建Logstore：vedio-server-log，差異點在指定采集模式上。
- step1：首先點擊左側菜單中的**日誌庫**，繼而點擊右上角**創建**，進入創建Logstore頁麵。
- step2：在創建Logstore頁麵中配置信息如下。
Logstore名稱：client-operation-log，其他選項均為默認。
- step3：繼而在彈出中選擇**創建Logtail配置**。
- step4：**選擇數據源**依然選擇配置為文本文件，在指定采集模式配置中，如下：
配置項說明如下：
- 配置名稱：client-operation-log
- 日誌路徑：/root，具體日誌文件名為：client-operation.log
- 模式：選擇JSON模式。
- step5：將采集配置應用到之前創建好的機器組myvm：
創建Logstore：web-tracking-log
- step1：首先點擊左側菜單中的**日誌庫**，繼而點擊右上角**創建**，進入創建Logstore頁麵。
- step2：在創建Logstore頁麵中配置信息如下。
配置項說明：
- Logstore名稱：web-tracking-log
- 選擇開啟webTracking功能。
- step3：點擊確定按鈕後，彈出創建Logtail框，直接點擊取消即可。
注意創建該Logstore時，需要打開WebTracking，另外，這個Logstore不需要創建采集配置，到這裏web-tracking-log就創建好了。
所有已經配置的Logstore就已經完成，如下圖所示：
啟動ECS VM進行mock視頻流數據
為了更真實的模擬直播視頻的日誌產生、采集再到處理的整個鏈路，我們為每個學員都提供了一台專屬ECS，便於體驗全鏈路workshop流程。
- step1：登陸ECS控製台，找到在Logtail配置過程中的機器組實例，點擊遠程連接，登陸到ECS VM上。
- step2：初次使用會彈框顯示6位數的遠程連接密碼，**切記一定要複製下來**。
step3：輸入遠程連接密碼，如果忘記密碼，點擊右上角修改，然後重新登陸。
step4：從雲中沙箱獲取登錄賬號和密碼，並登陸成功之後，進入到ECS VM的命令窗口：
- step5：點擊右上角複製命令輸入，複製如下命令並修改自己的project名稱：
sh start.sh workshop-hz [your log project name]
其中第二個參數(your log project name)填寫之前創建好的日誌服務的Project名稱。
舉個例子，如果之前創建的日誌服務的Project名稱是workshop-620，執行的命令如下：
sh start.sh workshop-hz workshop-620
執行成功後，在該台ECS上，一個播放網站以及模擬產生播放日誌的程序就啟動好了。這裏請務必保證輸入的日誌服務的Project名稱正確無誤。
- step5：在當前目錄下執行ls -la命令，確認環境是否被正確搭建。
在當前目錄(/root/)，執行ls -la命令，如果看到上圖紅框中兩個日誌文件已經產生，那就表示環境已經搭建好了，如果沒有搭建好，請在WorkShop現場舉手示意。
驗證日誌采集
經過創建Logstore、配置Logtail以及啟動ECS上相關程序後，整個視頻日誌流采集的流程就全部完成了。接下來就是驗證日誌數據是否成功收集到日誌服務中了。
-
step1：回到日誌服務控製台，點擊之前創建的Project，進入Project管理頁麵。
-
step2：點擊預覽按鈕，查看采集上來的日誌。
通過上述步驟可以驗證，vedio-server-log和client-operation-log日誌庫中是否已經有采集到日誌進來。
step3：驗證web-tracking-log播放器操作日誌。回到ECS控製台，找到ECS實例的公網IP，比如我的ECS的公網IP是：101.132.26.92
step4：瀏覽器中訪問該公網網址：https://101.132.26.92，打開播放頁麵如下。
可以點擊反複點擊播放、暫定等操作。
- step5：點擊預覽進入日誌預覽頁麵。
上圖可以看到剛才在播放器的操作行為都被記錄到web-tracking-log這個Logstore裏麵了。至此，一個完整的日誌采集流程便完成了。
最後更新：2017-10-09 10:03:30