991      人物

數據同步簡介__數據同步手冊_用戶操作指南_大數據開發套件-阿裏雲

數據同步 是阿裏集團對外提供的穩定高效、彈性伸縮的數據同步平台，為阿裏雲大數據計算引擎(包括MaxCompute、AnalyticDB、OSPS)提供離線(批量)的數據進出通道。

離線(批量)數據同步簡介

離線(批量)的數據通道主要通過定義數據來源和去向的數據源和數據集，提供一套抽象化的數據抽取插件(稱之為Reader)、數據寫入插件(稱之為Writer)，並基於此框架設計一套簡化版的中間數據傳輸格式，從而達到任意結構化、半結構化數據源之間數據傳輸之目的。

可以參考此圖：

支持數據源類型

因為每個數據源的配置信息差距較大，需要根據使用情況詳細查詢參數配置信息。在數據源配置、作業配置頁麵提供了詳細描述，請根據自己情況進行查詢使用。

同步開發說明

同步開發提供兩種開發模式：向導模式、腳本模式（規劃中）。

• 向導模式：提供向導式的開發引導，通過可視化的填寫和下一步的引導，幫助快速完成數據同步任務的配置工作。優點是：學習成本低。缺點是無法享受到一些高級功能。
• 腳本模式：用戶可以通過直接編寫數據同步的JSON腳本來完成數據同步開發，適合高級用戶，學習成本較高。優點是：提供更豐富靈活的能力，可以做精細化的配置管理。

注意：

向導模式生成的代碼可以轉換為腳本模式，此轉換為單向操作，轉換完成後無法恢複到向導模式。因為腳本模式能力是向導模式的超集。
代碼編寫前需要完成 數據源配置、目標表 的創建。

網絡類型說明

網絡類型分為：經典網絡、專有網絡(VPC)、本地IDC網絡

• 經典網絡：統一部署在阿裏雲的公共基礎網絡內，網絡的規劃和管理由阿裏雲負責，更適合對網絡易用性要求比較高的客戶。
• 專有網絡：基於阿裏雲構建出一個隔離的網絡環境。您可以完全掌控自己的虛擬網絡，包括選擇自有的 IP 地址範圍，劃分網段，以及配置路由表和網關。
• 本地IDC網絡：用戶自身構建機房的網絡環境，與阿裏雲網絡是隔離不可用的。

經典網絡和專有網絡相關問題請參考阿裏雲文檔中心《經典網絡和VPC常見問題FAQ》

補充說明：

公網連接可以支持，網絡類型選擇經典網絡即可。需要注意公網帶寬的速度和相關網絡費用消耗。無特殊情況不建議使用。
規劃中的網絡連接，進行數據同步，可以使用本地新增運行資源+腳本模式的方案進行數據同步傳輸。或者使用SHELL+DataX方案，此方案參考此文章：https://help.aliyun.com/document_detail/45055.html

約束與限製

• 支持且僅支持結構化(例如RDS、DRDS等)、半結構化、無結構化(OSS、TXT等, 要求具體同步數據必須抽象為結構化數據)的數據同步。換言之，Data Integration支持傳輸能夠抽象為邏輯二維表的數據同步，其他完全非結構化數據，例如OSS中存放的一段MP3，Data Integration不支持將其同步到MaxCompute 。

• 支持且僅支持單個地域內數據存儲相互同步、交換的數據同步需求，不支持多個地域之間數據同步。例如，暫時不支持將青島RDS數據同步到上海MaxCompute 集群上來。

  • 部分地域通過經典網絡是可以傳輸的，不能保證。如果必須使用且測試經典網絡不通，可以考慮使用公網方式連接。

• 僅完成數據同步(傳輸)，本身不提供數據流的消費方式

數據同步任務配置可以參考快速開始->創建數據同步任務。

最後更新：2016-12-14 17:20:48

  上一篇： 調度資源__組織管理手冊_用戶操作指南_大數據開發套件-阿裏雲

  下一篇： AnalyticDB數據源配置__數據源配置_數據同步手冊_用戶操作指南_大數據開發套件-阿裏雲