阅读225 返回首页    go 技术社区[云栖]


MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况

在使用MaxCompute的时候,很多同学会关注当前项目有多少任务在执行,哪些任务耗时长,哪些任务已经完成,并且能通过任务的logview来分析任务耗时长的原因。

ofo的同学选择自己搭建任务管理平台通过sdk函数获取MaxCompute 相关job信息进行管理。如《MaxCompute的任务状态和多任务执行》所分享。

其他的没有精力自己搭建平台,可以通过show p -all;命令查看所有job,再通过wait instanceid;查看这个job的logview,最后通过logview再查看具体的执行日志。如《如何在客户端上追踪一个任务信息》所介绍。

今天我要分享的是通过MaxCompute Studio可以可视化查看项目想的所有job并分析运行情况。具体操作如下:

  • 查看某个项目下,过去24小时的所有job列表,并查看那些job耗时最长。
    进入Studio的job explorer选项卡,选择需要查看的项目(该项目链接必须已经配置好,可以参考《项目空间连接管理》);状态选择’全部作业‘;提交者选择’任何人‘(项目owner肯定有权限,其他同学有project的list权限也可以否则只能看自己提交的job):
    image
    在查询结果列表中,点击“总时长”进行高到低排序既可得出上图列表。

    注意,界面最多显示满足条件的前1000条记录。

    假如只想看正在活动的作业,可以过滤状态:
    image
    假如还想看更长久的作业,可以过滤日期:
    image

  • 查看耗时最长的job的具体运行情况。

    可以直接双击查询列表中总时长按高到低排列后时长最高的job,既可打开该作业的详情显示区。

    注意,如果job已经超过7天,详情中只能查看基本的一些基本信息包括脚本信息。

    image
    在作业详情显示区,如果该job没超过7天,那么可以查看详细的执行过程日志,具体分析操作参考可以上一篇的分享《MaxCompute Studio使用心得系列3——可视化分析作业运行》

    假如你查看的是running状态的job详情,还可以进行kill操作非常方便。
    image

  • 如果从其他途径知道了某个logview地址,也可以通过Studio直接打开这个logview进行分析:
    image

好了,想可视化查看所有job以及job的具体运行信息,就分享到这。若能通过instance id搜索想看的job,以及通过脚本内容关键字搜索哪些job执行过这些内容就更好了!

最后更新:2017-11-14 17:34:08

  上一篇:go  HTAP数据库 PostgreSQL 场景与性能测试之 28 - (OLTP) 高并发点更新
  下一篇:go  11月14日云栖精选夜读:轻松使用阿里云资源编排,方便你的API管理