909      直播

云上数据集成方案__解决方案_平台介绍_数加平台介绍-阿里云

一、本地数据库

1.1 公网环境同步数据库中数据到ODPS

使用工具：大数据开发集成环境（Data IDE）使用方法：

• 第一步：开通数据开发服务
• 第二步：创建项目
• 第三步：新建数据源
• 第四步：创建数据同步工作流节点
• 第五步：配置同步任务
• 第六步：执行或者发布进行数据同步

1.2 非公网环境实现同步数据库中数据到ODPS

使用工具：DataX使用方法：

• 第一步：下载DataX并解压
• 第二步：根据模板和将要同步的源端和目的端配置同步json
• 第三步： 运行DataX执行同步

二、本地文件

2.1 公网环境实现同步本地文件、Hadoop中数据到ODPS

使用工具：大数据开发集成环境（Data IDE）使用方法：

• 第一步：开通数据开发服务
• 第二步：创建项目
• 第三步：新建数据源
• 第四步：创建数据同步工作流节点
• 第五步：配置同步任务
• 第六步：执行或者发布进行数据同步

2.2 非公网实现同步本地文件、Hadoop中数据到ODPS

使用工具：DataX使用方法：

• 第一步：下载DataX并解压
• 第二步：根据模板和将要同步的源端和目的端配置同步json
• 第三步： 运行DataX执行同步

2.3 实现同步日志文件中数据到ODPS

使用工具：Apache Flume ODPS插件、Fluentd ODPS插件使用方法：

• 第一步：在本地部署Flume 或者Fluentd
• 第二步：在部署的Flume 或者Fluentd中安装相应的ODPS插件
• 第三步：配置Flume 或者Fluentd源头为日志文件，目的端为ODPS的同步任务。

三、云环境数据库

3.1 实现一次性同步RDS、OSS、OTS、ADS、DRDS中数据到ODPS

使用工具：大数据开发集成环境（Data IDE）使用方法：

• 第一步：开通数据开发服务
• 第二步：创建项目
• 第三步：新建数据源
• 第四步：创建数据同步工作流节点
• 第五步：配置同步任务
• 第六步：执行或者发布进行数据同步

四、云环境文件

3.1 实现一次性同步ECS日志文件中数据到ODPS

使用工具：日志服务（Log Service）、Apache Flume ODPS插件、Fluentd ODPS插件使用方法：

• 第一步：在MaxCompute中授予MaxCompute数据投递权限
• 第二步：创建日志创建投递配置Flume和Fluentd步骤
• 第一步：在本地部署Flume 或者Fluentd
• 第二步：在部署的Flume 或者Fluentd中安装相应的ODPS插件
• 第三步：配置Flume 或者Fluentd源头为日志文件，目的端为ODPS的同步任务。

最后更新：2016-11-23 17:16:07

  上一篇： 数加控制台帮助__平台介绍_数加平台介绍-阿里云

  下一篇： 敏捷BI__解决方案_平台介绍_数加平台介绍-阿里云