198
技術社區[雲棲]
探秘阿裏EDAS任務調度服務
近日，阿裏雲企業級分布式應用服務EDAS（https://www.aliyun.com/product/edas）上線分布式任務調度服務，目前處於免費公測階段。SchedulerX——是該服務在阿裏內部的產品名字，顧名思義，比調度做的更多。隨著公測的開啟，阿裏巴巴內部又一款核心中間件產品浮出水麵。
SchedulerX是阿裏巴巴集團中間件團隊開發的一款高性能、分布式任務調度產品，在阿裏內部有著廣泛的使用，經過集團內上千個業務應用曆經多年打磨而成。截止2017年8月，每天平穩運行集團內幾十萬個任務，完成每天幾億次的任務調度。在未來SchedulerX將支持更多特性以滿足集團內外不斷增長的用戶需求。
SchedulerX 1.0：讓任務分布式起來
在2011年之前，阿裏中間件的TTM提供定時任務觸發服務，隨著淘寶業務不斷發展壯大TTM簡單的觸發功能越來越不滿足業務不斷增長的需求，在很多場景下TTM無法為用戶解決問題。比如用戶希望能將一個耗時很長的定時任務進行拆解，然後將拆解後的任務分片分發到多台機器去並行處理，這樣就能大大減少任務執行的時間。公司內部的一些其他分布式任務調度解決方案，雖然能滿足需求但是易用性較差，文檔缺失嚴重，而且沒人維護，經常由於重度依賴ZooKeeper導致些嚴重問題，想要做到大規模的推廣比較困難。於是阿裏中間件開發了TTD，也就是SchedulerX的前身。
SchedulerX1.0 (TTD)提供了自主運維管理後台，讓用戶能通過頁麵來配置、修改和管理定時任務。SchedulerX1.0還能管理任務執行的生命周期，從每次任務執行開始一直到任務執行結束都有記錄，用戶能看到每次任務執行的開始和結束時間以及能看到執行成功或者失敗，SchedulerX1.0還會為用戶保留過去的執行記錄，用戶可以查看定時任務曆史執行記錄。SchedulerX1.0解決了用戶很多痛點，比如以前使用TTM要修改時間表達式的話需要修改代碼配置然後再重新發布應用，而SchedulerX1.0則提供了統一的運維管理後台，用戶隻需要在頁麵上修改時間表達式即可，不需要重新發布跑定時任務的業務應用。
此外，SchedulerX1.0能把一個執行耗時很長的定時任務拆分成多個子任務分片然後分發到多台機器去並行執行這樣就大大減少了定時任務執行的時間。比如集團內很多曆史數據遷移的場景，這樣的場景往往是每天執行一次，而由於每次遷移的數據量巨大如果單台機器去遷移的話是沒辦法在一天之內完成遷移任務的，所以必須將這樣一個遷移任務拆分成多個子任務分片，然後用多台機器去執行不同的子任務分片，這樣就能大大縮短任務執行的時間滿足業務需求。更重要的是SchedulerX1.0的編程模型和用戶接口都非常簡單，用戶隻需要實現相應的接口即可。
SchedulerX 2.0：完善的任務調度體係
隨著集團業務繼續發展壯大以及SchedulerX1.0推廣運營的過程中收集到的用戶反饋和需求，我們決定擴展SchedulerX1.0並開發下一個版本SchedulerX2.0（開發代號為：DTS）。SchedulerX2.0（DTS）進一步提升用戶體驗，除了優化編程模型，減少用戶配置和程序接口之外，同時還新增了多項功能特性，以滿足集團內不斷增長的業務需求。
SchedulerX2.0（DTS）支持七種功能特性。
簡單job單機版是每次隨機選擇一台機器隻執行任務，這種場景用的最多就是一般情況下任務隻運行在一台機器執行，但是為了防止單點問題還的解決多機備份的問題，當一台機器宕機的時候可以自動切換到其他正常機器去執行。
簡單job廣播版則是每次選擇所有機器同時觸發執行，比如需要定時更新本地內存的場景，這樣就需要每台機器同時刷新內存。
並行計算job就是將一個耗時很長的大任務拆分成多個小的子任務然後分發到多台機器去並行執行。
圖示計算（任務依賴）,這種特性往往用於有業務數據依賴的多個任務之間按照嚴格先後順序執行的場景。阿裏內部有很多這種場景，兩個或者多個任務之間按照某種業務邏輯順序去執行，比如兩個任務A，B其中A執行結束之後B才能開始執行。
腳本Job就是隻shell，php，python等定時執行的腳本任務，比如集團技術保障部，蝦米音樂等部門有大量需要定時執行的shell，php，python等腳本。用戶隻需要在SchedulerX2.0（DTS）管理後台配置上要定時執行的shell，php，python等命令即可，用戶不需要額外寫一行代碼。
SchedulerX2.0（DTS）的管理運維控製台提供任務配置管理，以及曆史執行記錄查詢，還有完善的監控報警功能。任務沒有準點執行能給用戶發送報警，任務執行超過預期的時間也能給用戶發送報警，甚至任務執行失敗了都能給用戶發送短信報警。
SchedulerX2.0（DTS）還支持基於SchedulerX2.0的二次開發，用戶可以通過SDK裏的api來創建，修改，刪除任務。在阿裏內部有很多業務方在SchedulerX2.0的基礎上構建他們自己的任務調度平台。
SchedulerX2.0（DTS）還支持超大規模定時觸發器，用戶可以通過api創建千億量級的一次性定時觸發器，比如每條交易訂單創建的時候就在SchedulerX2.0創建一個定時觸發器，用戶設置這個觸發器的觸發時間，到了每個觸發器觸發時間就會有一個事件通知交易係統去提醒用戶確認收貨超時。
SchedulerX 3.0：在路上
據悉，目前阿裏中間件正在開發SchedulerX3.0，該版本的分布式任務調度將支持更多功能特性，用戶值得期待。
-
最後更新：2017-09-13 08:32:29