MaxCompute Studio使用心得係列3——可視化分析作業運行
上一篇寫分享了通過MaxCompute Studio 編寫sql腳本時“編譯”功能帶來的便捷,這次分享腳本編譯好提交運行後,自助查看作業的執行情況。
我們很熟悉的是通過logview,去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。
比如我寫完一個sql腳本,編譯成功
接著執行腳本,Studio自動打開當前job的執行詳細信息頁麵,包括job基本信息列表、詳情展示和分析區(執行計劃圖、時序圖、分析等)
如上圖,job執行失敗:
界麵底部RUN日誌中打出具體的錯誤信息。
詳情展示區默認顯示執行計劃圖,可以看到子任務的依賴關係,雙擊每一個子任務節點圖,可以展開更詳細的信息。
-
即使是失敗的job,也可以切換到分析tab查看具體結論,如本次執行,job有長尾。
可以點擊具體的長尾節點查看該節點的長尾圖進一步分析,相關長尾調優可以參考文檔計算長尾調優。
修改好sql腳本,再執行,執行成功如下圖:
成功的任務我們依然可以分析很多信息,比如查看那個任務task耗時熱點:
點擊下麵的進度條可以回放整個job執行的過程
可以查看耗時最長的前10個節點
可以查看每個子任務執行過程所有fuxi instance各種I/O信息:
同樣的可以看到分析信息,看是否還有可優化的點。
怎麼樣,這樣看日誌是不是感覺更容易理解了呢!
對了,MaxCompute Studio也有用戶釘釘支持群:
最後更新:2017-11-09 11:03:46