閱讀910 返回首頁    go 阿裏雲 go 技術社區[雲棲]


阿裏雲E-MapReduce 創建執行計劃

執行計劃是一組作業的集合,他們通過調度上的配置,可以被一次性或者周期性的執行。他可以在一個現有的 E-MapReduce 集群上運行,也可以動態的按需創建出一個臨時集群來運行作業。它最大的優勢就是跑多少就用多少資源,最大化的節省資源的浪費。

創建執行計劃的步驟如下:

1.登錄阿裏雲 E-MapReduce 控製台執行計劃頁麵

2.選擇地域(Region)。

3.單擊右上角的創建執行計劃,進入創建執行計劃頁麵。

4.在選擇集群方式頁麵上,有兩個選項,分別是“按需創建”和“已有集群”。

按需創建:創建一個全新的集群,用來運行作業。

一次性調度的執行計劃,會在開始執行的時候創建對應配置的集群,並在運行完成以後釋放該集群。具體創建參數說明參考創建集群。

周期調度的執行計劃,會在每一個調度周期開始時,按照用戶的設置創建出一個新的集群運行作業,並在運行結束後,釋放集群。

已有集群:使用一個已有的集群,並且該集群要符合以下要求。如果選擇“已有集群”,則進入選擇集群頁麵。用戶可選擇要將該執行計劃關聯到的集群。

目前隻有“運行中”和“空閑”這 2 個狀態的集群可以被提交執行計劃。
5.單擊下一步,進入配置作業頁麵。左邊表中會列出用戶所有的作業,可以單擊選中需要執行的作業,然後單擊中央的右向按鈕將作業加入已選作業隊列。已選作業隊列中的作業會被按排列順序提交到集群中執行。同一個作業可以被添加多次,就會多次執行。如果您還沒有創建任何作業,請您先參見創建作業的操作說明創建作業。

6.單擊下一步,進入配置調度方式頁麵。配置項說明如下:

執行計劃名稱:長度限製為 1-64 個字符,隻允許包含中文、字母、數字、’-‘、’_’。

調度策略

手動執行:創建完執行計劃以後,並不會自動執行。需要用戶手動執行。一旦已經在運行中了,不可以被再次執行。

周期調度:創建完執行計劃以後,周期調度功能會立刻啟動。並在用戶設置的調度時間點上開始執行。可以在列表頁麵關閉周期調度。當調度執行開始的時候,上一周期的執行還未結束,本次調度就會被忽略。

調度周期設置:可以有天或小時兩種調度的周期。天默認是一天,且無法更改。若選擇小時,則可設置具體間隔時間,範圍從 1-23。

首次執行時間:調度有效的開始時間。從這個時間開始,按照調度周期進行周期調度。第一次調度按照實際的時間滿足要求的最近一個時間點開始調度。

單擊確認提交,完成執行計劃的創建。

其他

周期調度示例


screenshot

這個設置表示,從 2015 年 10 月 31 日 10 點 0 分開始第一次調度,以後每隔一天調度一次。第二次調度是 2015 年 11 月 1 日 10 點 0 分。

作業的執行順序

執行計劃中的作業,按照用戶選擇的作業在作業列表中的順序,從第一個開始一直執行到最後一個。

多個執行計劃的執行順序

每一個執行計劃都可以看做是一個整體。當多個執行計劃被提交到同一個集群上後,每一個執行計劃都會按照自身內部的作業順序提交作業,和單個執行計劃的順序是一致。而多個執行計劃之間的作業是並行的。

實踐示例 —— 前期作業調試

在作業的調試階段,如果經常用按需自動創建集群的方式會比較慢,每次都需要啟動集群會花費不少的時間。推薦的方式是:先手動創建一個集群,然後在執行計劃中,選擇關聯該集群來運行作業,並設置調度方式為立即執行。調試的時候,每次都通過單擊執行計劃列表頁上的“立即運行”來多次運行,查看結果。一旦作業調試完成,修改執行計劃。將關聯現有集群的方式,修改為按需創建新集群。並將調度方式修改為周期調度(視實際情況而定)。後續就可以按需自動跑任務了。

最後更新:2017-09-01 01:02:52

  上一篇:go  阿裏雲E-MapReduce 管理執行計劃
  下一篇:go  阿裏雲E-MapReduce Spark SQL 作業配置