105      阿裏雲

logview__JOB運行信息查看工具_工具_大數據計算服務-阿裏雲

Logview是一個在ODPS Job提交後查看和Debug任務的工具。可看到的內容有：

• 任務的運行狀態
• 任務的運行結果
• 任務的細節和每個步驟的進度

在用odpscmd提交任務時,會自動生成Logview的鏈接。生成的鏈接中的最後一部分是token，這是用戶打開該頁麵並查看job信息的鑰匙，Logview頁麵的有效期為一周。

Web UI

下麵結合具體的Web UI界麵來說明每個組件的含義。

在Logview的首頁，上方為用戶提交的SQL生成的ODPS Instance，每個SQL提交後會生成唯一的ID。Latency指的運行總共消耗的時間，別的頁麵的latency含義類似。 下方是該task的說明，其中的兩項說明一下：

• Result: 在Job運行結束後，可以看到運行結果，如一條select SQL的結果如下圖。

• Detail: 在Job中運行中和結束後，均可以點擊Detail來查看任務運行的具體情況。

一個ODPS Task由一個或者多個Fuxi Job組成。例如當用戶的SQL任務十分複雜時，ODPS會向Fuxi提交多個Fuxi Job。

每個Fuxi Job由一個或者多個Fuxi Task組成。簡單的MapReduce通常會產生兩個Fuxi Task，一個是Map一個是Reduce，用戶會見到兩個Fuxi Task的名字分別為M1和R2，當SQL比較複雜時，可能會產生多個Fuxi Task。

在每個Task中，可以看到Task的名字，對於M1_stg1，表示這是一個Map task，stage為1。R2_1_stg1中間的1表示它依賴M1執行結束才能開始執行。同理，J5_2_4_Stg2表示Join5這個階段要依賴R2和M4兩個task完全成才能啟動運行。I/O Records表示這個task的輸入和輸出的records數。
每個Fuxi Task由一個或者多個Fuxi Instance組成，當用戶的輸入數據量變大時，ODPS會在每個Task啟動更多的節點來處理數據。每個節點就是一個Fuxi Instance。雙擊Fuxi Task最右邊一欄查看，或者直接雙擊該行，就可以打開具體的Fuxi Instance信息。

在頁麵的下方，Logview為不同階段的Instance進行了分組，查看出錯的節點可以選擇Failed欄。

在StdOut和StdErr兩欄中，可以查看標準輸出和標準錯誤信息，用戶自己打印的信息也可以在這裏查看。

問題排查

出錯的任務

當有任務出錯時，用戶可以在Logview頁麵的Result中看到錯誤的提示信息，也可以在Detail頁麵中通過Fuxi Instance的stderr查看具體某個Instance出錯的信息。

數據傾斜 運行緩慢有時是由於在某個Fuxi Task的所有Fuxi Instance中，有個別Instance形成長尾造成，長尾的現象就是同一個Task內任務分配不均。這時可以在任務運行完後在Summay標簽頁中看運行結果。在每個Task中都可以看到形如這樣的輸出：

output records:
R2_1_Stg1: 199998999  (min: 22552459, max: 177446540, avg: 99999499)

在這裏如果看到min和max相差很大，就說明在這一階段出現了數據傾斜，比如在Join時某個字段中有一個值出現的比例很高，在這一字段上做Join就會出現數據傾斜。

最後更新：2016-11-23 17:16:04

  上一篇： Graph開發插件介紹__Eclipse開發插件_工具_大數據計算服務-阿裏雲

  下一篇： 插件安裝__Intelij 開發插件_工具_大數據計算服務-阿裏雲