136      美食

什麼是大數據開發套件__產品簡介_大數據開發套件-阿裏雲

1 產品架構dfd

“大數據開發套件”是阿裏雲推出的大數據領域平台級產品，提供一站式大數據開發、數據權限管理、任務離線調度，等功能。底層依賴阿裏雲自主研發的海量數據計算引擎MaxCompute（原ODPS），提供海量任務的離線加工、分析、雲數倉搭建、大數據挖掘等應用於多種場景的功能。‘開箱即用’的使用方式，讓用戶無需再過多關心底層集群的搭建和運維所帶來的成本和繁瑣。

產品架構如下圖所示：

由上圖可以看出，大數據開發套件底層是基於MaxCompute（原ODPS）的集成開發環境，提供海量異構數據元數據同步、離線調度、工作流配置、MR、機器學習等能力，並且與阿裏雲所提供的BI、數據可視化、推薦等產品能夠無縫對接，為您提供更為方便的一站式平台。

2 大數據開發套件的主要特性

大數據開發套件引入全新的工作流任務設計理念，較之前版本具有如下幾大特性：

1）拖拽式的工作流拖拽界麵

係統數據開發模塊提供豐富的可視化組件，包括SQL（ODPS SQL）、數據同步、MR（ODPSMR）、機器學習、SHELL等任務類型。相較於開源的工作流拖拽，提供更為便捷和靈活的體驗與交互。

2）個性化數據收藏與管理

係統數據管理模塊提供個性化的數據收藏與管理功能，您可輕鬆收藏所關注的數據表，同時可對數據表的生命周期、基本信息、負責人等信息進行管理，也可查看數據表存儲信息、分區信息、產出信息、血緣信息等內容。

3）一鍵式跨項目任務發布

在同一個主賬號下，提供不同項目之間的快速任務遷移和發布能力。為客戶提供模擬‘開發’和‘生產’的雙環境模型，以及更多的線下、線上生產模型。

4）可視化任務監控

運維中心提供可視化的任務監控管理工具，支持以DAG圖的形式展示任務運行時的全局情況。異常管理便捷化，支持重跑、恢複、暫停和終止等操作。

3 開發流程

通常情況下，數據開發需經由如下開發流程來完成：

從上圖可以看出，數據開發的總體流程可包括數據產生、數據收集與存儲、分析與計算、數據提取、數據展現與分享。其中虛線框內的開發流程都可基於阿裏雲大數據平台來完成。說明如下：

1）數據產生業務係統每天會產生大量結構化的數據，這些數據都存儲在業務係統所對應的數據庫中，包括MySQL、Oracle、RDS等。

2）數據收集與存儲若想利用MaxCompute（原ODPS）的海量數據存儲與處理能力來分析這些已有的數據，首先需要將不同業務係統的數據進行同步至MaxCompute（原ODPS）上來。阿裏大數據開發平台提供數據同步服務，可支持多種數據源類型，將業務係統數據按照預設調度周期的同步到MaxCompute（原ODPS）。

3）數據分析與處理隨之可對MaxCompute（原ODPS）上數據進行加工（ODPS SQL、ODPS MR）、分析與挖掘（數據分析、數據挖掘）等處理，從而發現價值。

4）數據提取分析與處理後的結果數據，需同步導出至業務係統供業務人員使用其分析的價值。

5）數據展現和分享可通過報表、地理信息係統等多種展現方式來展示與分享大數據分析、處理後的成果。

最後更新：2016-12-13 15:03:35

  上一篇： 常見錯誤說明__附錄_大數據計算服務-阿裏雲

  下一篇： 功能索引__產品簡介_大數據開發套件-阿裏雲