閱讀208 返回首頁    go 阿裏雲 go 技術社區[雲棲]


MaxCompute Studio使用心得係列3——可視化分析作業運行

上一篇寫分享了通過MaxCompute Studio 編寫sql腳本時“編譯”功能帶來的便捷,這次分享腳本編譯好提交運行後,自助查看作業的執行情況。

我們很熟悉的是通過logview,去分析作業的執行情況,logview上有很詳細的執行日誌,而Studio不僅僅提供可視化的信息,還會明確給出一些分析結論如job是有否長尾或數據傾斜情況。

比如我寫完一個sql腳本,編譯成功

image

接著執行腳本,Studio自動打開當前job的執行詳細信息頁麵,包括job基本信息列表、詳情展示和分析區(執行計劃圖、時序圖、分析等)

image

如上圖,job執行失敗:

  • 界麵底部RUN日誌中打出具體的錯誤信息。

  • 詳情展示區默認顯示執行計劃圖,可以看到子任務的依賴關係,雙擊每一個子任務節點圖,可以展開更詳細的信息。

  • 即使是失敗的job,也可以切換到分析tab查看具體結論,如本次執行,job有長尾。

    image

    可以點擊具體的長尾節點查看該節點的長尾圖進一步分析,相關長尾調優可以參考文檔計算長尾調優

修改好sql腳本,再執行,執行成功如下圖:

image

成功的任務我們依然可以分析很多信息,比如查看那個任務task耗時熱點:

image

點擊下麵的進度條可以回放整個job執行的過程

image

可以查看耗時最長的前10個節點

image

可以查看每個子任務執行過程所有fuxi instance各種I/O信息:

image

同樣的可以看到分析信息,看是否還有可優化的點。

怎麼樣,這樣看日誌是不是感覺更容易理解了呢!

對了,MaxCompute Studio也有用戶釘釘支持群:

image

最後更新:2017-11-09 11:03:46

  上一篇:go  小白談數據脫敏
  下一篇:go  中國人工智能產業發展指數重磅發布,中國聲穀首批AI達摩名單揭曉