909      阿裏雲

雲上數據集成方案__解決方案_平台介紹_數加平台介紹-阿裏雲

一、本地數據庫

1.1 公網環境同步數據庫中數據到ODPS

使用工具：大數據開發集成環境（Data IDE）使用方法：

• 第一步：開通數據開發服務
• 第二步：創建項目
• 第三步：新建數據源
• 第四步：創建數據同步工作流節點
• 第五步：配置同步任務
• 第六步：執行或者發布進行數據同步

1.2 非公網環境實現同步數據庫中數據到ODPS

使用工具：DataX使用方法：

• 第一步：下載DataX並解壓
• 第二步：根據模板和將要同步的源端和目的端配置同步json
• 第三步： 運行DataX執行同步

二、本地文件

2.1 公網環境實現同步本地文件、Hadoop中數據到ODPS

使用工具：大數據開發集成環境（Data IDE）使用方法：

• 第一步：開通數據開發服務
• 第二步：創建項目
• 第三步：新建數據源
• 第四步：創建數據同步工作流節點
• 第五步：配置同步任務
• 第六步：執行或者發布進行數據同步

2.2 非公網實現同步本地文件、Hadoop中數據到ODPS

使用工具：DataX使用方法：

• 第一步：下載DataX並解壓
• 第二步：根據模板和將要同步的源端和目的端配置同步json
• 第三步： 運行DataX執行同步

2.3 實現同步日誌文件中數據到ODPS

使用工具：Apache Flume ODPS插件、Fluentd ODPS插件使用方法：

• 第一步：在本地部署Flume 或者Fluentd
• 第二步：在部署的Flume 或者Fluentd中安裝相應的ODPS插件
• 第三步：配置Flume 或者Fluentd源頭為日誌文件，目的端為ODPS的同步任務。

三、雲環境數據庫

3.1 實現一次性同步RDS、OSS、OTS、ADS、DRDS中數據到ODPS

使用工具：大數據開發集成環境（Data IDE）使用方法：

• 第一步：開通數據開發服務
• 第二步：創建項目
• 第三步：新建數據源
• 第四步：創建數據同步工作流節點
• 第五步：配置同步任務
• 第六步：執行或者發布進行數據同步

四、雲環境文件

3.1 實現一次性同步ECS日誌文件中數據到ODPS

使用工具：日誌服務（Log Service）、Apache Flume ODPS插件、Fluentd ODPS插件使用方法：

• 第一步：在MaxCompute中授予MaxCompute數據投遞權限
• 第二步：創建日誌創建投遞配置Flume和Fluentd步驟
• 第一步：在本地部署Flume 或者Fluentd
• 第二步：在部署的Flume 或者Fluentd中安裝相應的ODPS插件
• 第三步：配置Flume 或者Fluentd源頭為日誌文件，目的端為ODPS的同步任務。

最後更新：2016-11-23 17:16:07

  上一篇： 數加控製台幫助__平台介紹_數加平台介紹-阿裏雲

  下一篇： 敏捷BI__解決方案_平台介紹_數加平台介紹-阿裏雲