1034      財經資訊

8.4 使用阿裏雲數據傳輸實時同步RDS的數據__第八章 在生產中使用分析型數據庫_使用手冊_分析型數據庫-阿裏雲

通過阿裏雲數據傳輸（ https://www.aliyun.com/product/dts/ ）,並使用 dts-ads-writer 插件， 可以將您在阿裏雲RDS中的數據表的變更實時同步到分析型數據庫中對應的實時寫入表中（RDS端目前暫時僅支持MySQL引擎）。

您需要在您RDS所在的雲賬號下開通阿裏雲數據傳輸服務。並 點擊此處 下載dts-ads-writer插件(8月11日已更新為0.17版本，使用老版本的用戶請盡快更新，MD5：0d023dd7d882bc74096e21d0c107af1a)到您的一台服務器上並解壓（需要該服務器可以訪問互聯網，建議使用阿裏雲ECS以最大限度保障可用性）。服務器上需要有Java 6或以上的運行環境（JRE/JDK）。

操作步驟

1. 在分析型數據庫上創建目標表，數據更新類型為實時寫入，字段名稱和MySQL中的建議均相同，字段類型的映射見本文檔 2.2節；
2. 在阿裏雲數據傳輸的控製台上創建數據訂閱通道 （見： https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html ），並記錄這個通道的ID；
3. 配置dts-ads-writer/app.conf文件，配置方式詳見下文；
4. 運行dts-ads-writer/bin/startup.sh(sh bin/startup.sh)；
5. 配置監控程序監控進程存活和日誌中的常見錯誤碼（見下文）。

插件目錄結構

dts-ads-writer
    |--bin 
    |--lib
    |--log
    |--tmp
    |--dts-ads-writer.jar
    |--app.conf
    |--dts-ads-writer.pid

各目錄和文件的含義：

• bin: 保存了啟動和停止進程的腳本(startup.sh和stop.sh), 停止進程請用stop.sh執行：sh stop.sh
• lib: 相關java依賴包
• log: 運行時產生的日誌
• tmp: 臨時目錄
• dts-ads-writer.jar: 插件的主程序包
• app.conf: 配置文件
• dts-ads-writer.pid: 插件啟動後的進程id

配置項

所有配置均保存在app.conf中，運行前請保證配置正確；修改配置後，請重啟writer

基本配置：

{
  "dtsAccessId": "",  // 擁有數據訂閱通道的雲賬號的accessId, 必須配置
  "dtsAccessKey": "", // 擁有數據訂閱通道的雲賬號的accessKey, 必須配置
  "dtsTunnelId": "",  // 數據訂閱通道的id, 必須配置; 注意是id，不是通道名稱
  "adsUserName": "",  // 訪問您的分析型數據庫的用戶名（accessId）, 必須配置
  "adsPassword": "",  // 訪問您的分析型數據庫的密碼(accessKey), 必須配置
  "adsJdbcUrl": "",   // 訪問分析型數據庫的jdbc連接串, 必須配置（格式jdbc:mysql://ip:port/dbname）
  "tables": [
    {
      "source": {
        "primaryKeys": [""] // 主鍵定義, 必須配置; 注意RDS和分析型數據庫中的主鍵定義必須一致
        "db": "",     // 源頭RDS的db名稱, 必須配置
        "table": "",    // 源頭RDS的table名稱, 必須配置
        "skipColumns": ["col1"]   // 可選，若在此配置了RDS表某列名，則該列不會同步
      },
      "target": {            
        "table": "" // 分析型數據庫表的table名稱, 必須配置
      },
      "columnMapping": {
        "": ""  // rds表和ads表的列對應關係：key為rds的列名, value為分析型數據庫的列名，選填，不填則按照列名一一對應
      },
    "options": {
       "traceSql": false,
       "detailLog": false,
       "isReplaceInvalidInsertValue": true,
       "invalidInsertValueCharacters":"\\n,\\r,\\t,'" //此處若配置會自動替換無法插入分析型數據庫的幾種特殊字符，會修改您的數據，但是建議打開。
    },
    }
  ]
}

"tables": [
    {
      "source": {
        "primaryKeys": [
          "col1",
          "col2"
        ],
        "db": "rds_db",
        "table": "rds_table"
      },
      "target": {
        "table": "ads_table"
      },
      "columnMapping": {
        "col1": "col1_ads",
        "col2": "col2_ads"
      }
    }
  ]