541      微信

数据归档MaxCompute__高级特性_DataHub实时数据通道_大数据计算服务-阿里云

DataHub Connector是把 DataHub 中的实时数据归档到其他存储系统的功能，目前只支持将Topic中的数据归档到MaxCompute(ODPS)中。数据归档到MaxCompute支持at least once语义，在网络服务异常等场景下可能会导致导入到MaxCompute中的数据产生重复。

如何创建

创建Connector主要需要如下前置条件：

1. 准备对应的MaxCompute表，该表字段类型、名称、顺序必须与DataHub Topic字段完全一致，如果三个条件中的任意一个不满足，则归档Connector无法创建。字段类型对应表见后表。

2. 访问MaxCompute账号的设置，该账号必须具备该MaxCompute的Project的CreateInstance权限和归档MaxCompute表的Desc、Alter、Update权限，建议使用一个特殊最小权限的账号(如何配置访问MaxCompute账号权限？)。建议使用RAM用户账号(如何创建RAM用户账号？)。

3. DataHub Topic的Owner/Creator账号, 才有相应的权限操作Connector，包括创建，删除等。

操作流程： Project列表->Project查看->Topic查看->点击归档MaxCompute->填写配置，点击创建

1. 进入Topic的详情页面：

2. 配置Connector 并创建：

3. 在Connector页面查看数据归档状态：

配置说明

注意

1 支持MaxCompute分区表，例如：

MaxCompute表：

table_test(f1 string, f2 string, f3 double) partitioned by (pt string)

对应Topic应为如下:

topic_test(f1 string, f2 string, f3 double, pt string)

2 MaxCompute分区字段必须为STRING类型。

3 数据归档的频率为每个Shard每5分钟或者Shard中新写入的数据量达到64MB，Connector服务会批量进行一次数据归档进入MaxCompute表的操作。所以数据写入DataHub Topic后至多5分钟后在MaxCompute可以被查询到。

DataHub与MaxCompute字段类型对应表

最后更新：2016-11-24 11:23:49

  上一篇： Web控制台介绍__使用指南_DataHub实时数据通道_大数据计算服务-阿里云

  下一篇： 扩容缩容Merge/Split__高级特性_DataHub实时数据通道_大数据计算服务-阿里云