1034      阿里云  技术社区[云栖]

8.4 使用阿里云数据传输实时同步RDS的数据__第八章 在生产中使用分析型数据库_使用手册_分析型数据库-阿里云

通过阿里云数据传输（ https://www.aliyun.com/product/dts/ ）,并使用 dts-ads-writer 插件， 可以将您在阿里云RDS中的数据表的变更实时同步到分析型数据库中对应的实时写入表中（RDS端目前暂时仅支持MySQL引擎）。

您需要在您RDS所在的云账号下开通阿里云数据传输服务。并 点击此处 下载dts-ads-writer插件(8月11日已更新为0.17版本，使用老版本的用户请尽快更新，MD5：0d023dd7d882bc74096e21d0c107af1a)到您的一台服务器上并解压（需要该服务器可以访问互联网，建议使用阿里云ECS以最大限度保障可用性）。服务器上需要有Java 6或以上的运行环境（JRE/JDK）。

操作步骤

1. 在分析型数据库上创建目标表，数据更新类型为实时写入，字段名称和MySQL中的建议均相同，字段类型的映射见本文档 2.2节；
2. 在阿里云数据传输的控制台上创建数据订阅通道 （见： https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html ），并记录这个通道的ID；
3. 配置dts-ads-writer/app.conf文件，配置方式详见下文；
4. 运行dts-ads-writer/bin/startup.sh(sh bin/startup.sh)；
5. 配置监控程序监控进程存活和日志中的常见错误码（见下文）。

插件目录结构

dts-ads-writer
    |--bin 
    |--lib
    |--log
    |--tmp
    |--dts-ads-writer.jar
    |--app.conf
    |--dts-ads-writer.pid

各目录和文件的含义：

• bin: 保存了启动和停止进程的脚本(startup.sh和stop.sh), 停止进程请用stop.sh执行：sh stop.sh
• lib: 相关java依赖包
• log: 运行时产生的日志
• tmp: 临时目录
• dts-ads-writer.jar: 插件的主程序包
• app.conf: 配置文件
• dts-ads-writer.pid: 插件启动后的进程id

配置项

所有配置均保存在app.conf中，运行前请保证配置正确；修改配置后，请重启writer

基本配置：

{
  "dtsAccessId": "",  // 拥有数据订阅通道的云账号的accessId, 必须配置
  "dtsAccessKey": "", // 拥有数据订阅通道的云账号的accessKey, 必须配置
  "dtsTunnelId": "",  // 数据订阅通道的id, 必须配置; 注意是id，不是通道名称
  "adsUserName": "",  // 访问您的分析型数据库的用户名（accessId）, 必须配置
  "adsPassword": "",  // 访问您的分析型数据库的密码(accessKey), 必须配置
  "adsJdbcUrl": "",   // 访问分析型数据库的jdbc连接串, 必须配置（格式jdbc:mysql://ip:port/dbname）
  "tables": [
    {
      "source": {
        "primaryKeys": [""] // 主键定义, 必须配置; 注意RDS和分析型数据库中的主键定义必须一致
        "db": "",     // 源头RDS的db名称, 必须配置
        "table": "",    // 源头RDS的table名称, 必须配置
        "skipColumns": ["col1"]   // 可选，若在此配置了RDS表某列名，则该列不会同步
      },
      "target": {            
        "table": "" // 分析型数据库表的table名称, 必须配置
      },
      "columnMapping": {
        "": ""  // rds表和ads表的列对应关系：key为rds的列名, value为分析型数据库的列名，选填，不填则按照列名一一对应
      },
    "options": {
       "traceSql": false,
       "detailLog": false,
       "isReplaceInvalidInsertValue": true,
       "invalidInsertValueCharacters":"\\n,\\r,\\t,'" //此处若配置会自动替换无法插入分析型数据库的几种特殊字符，会修改您的数据，但是建议打开。
    },
    }
  ]
}

"tables": [
    {
      "source": {
        "primaryKeys": [
          "col1",
          "col2"
        ],
        "db": "rds_db",
        "table": "rds_table"
      },
      "target": {
        "table": "ads_table"
      },
      "columnMapping": {
        "col1": "col1_ads",
        "col2": "col2_ads"
      }
    }
  ]