907 阿裏雲技術社區[雲棲]

大數據開發套件-數據集成-雲mongo跨區域如何同步到Maxcompute

 在大數據開發套件中是可以實現mongo同步到Maxcompute。

數據集成文檔：https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I
後端是通過華東1區的調度資源進行數據的調度傳輸。但是如果阿裏雲mongo不在華東1在其他區域，使用默認資源組就不能正常同步了。那麼就需要用戶通過自己添加調度機器進行同步。
1，準備一台調度服務器，要求必須和雲mongo相同網絡類型相同的區域。
官方文檔：https://help.aliyun.com/document_detail/52330.html?spm=5176.7849806.6.597.l1cpB0
注意：
請務必使用內網ip新增注冊調度資源
*請務必使用ecs實例的主機名稱，要求和機器上 hostname下的主機名稱一致，修改後的主機名稱會出現異常。
*請注意ecs係統，建議使用 centos6、centos7 或者 aliyunos；
大數據開發套件-項目管理-調度資源管理-新增調度資源
增加主機名和內網ip
然後到ecs服務器上初始化

執行初始化命令會有下圖

如果成功初始化，一般會顯示下載各種需要的包
最後到控製台看下服務器狀態，刷新幾次

2，在大數據開發套件-數據集成-數據源-新數據源-選擇mongo數據源類型

在這裏注意，
*如果是mongo副本集，把副本地址都要添加進去
如果是集群，把mongos的地址也都添加進去
**請務必將新增的調度資源ecs的內網ip加入mongo的白名單
3，在數據集成-新建任務
數據集成中mongo數據源暫時不支持向導模式，選擇腳本模式
選擇來源是mongo，目標odps（即maxcompute）

然後確認會生成腳本模版
具體配置可以參考

{
  "configuration": {
    "reader": {
      "plugin": "mongodb",
      "parameter": {
        "datasource": "mongoxxxtest",//數據源名稱
        "column": [
          {
            "name": "title",
            "type": "description"
          }
        ],
        "collectionName": "shangdantest"//集合名稱
      }
    },
    "writer": {
      "plugin": "odps",
      "parameter": {
        "partition": "",
        "truncate": false,
        "datasource": "aliyunxxxodps",
        "column": [
          "title",
          "desc_d"
        ],
        "table": "mongo_test"
      }
    },
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
        "concurrent": "1",
        "mbps": "1"
      }
    }
  },
  "type": "job",
  "version": "1.0"
}

可以參考官方文檔配置
https://help.aliyun.com/knowledge_detail/50354.html?spm=5176.7849806.2.13.l1cpB0
配置完成後，點擊保存-提交
然後到運維中心-任務管理-找到任務-測試運行看下
任務運行如果失敗
到運維中心-任務運維-查看任務運行的日誌
日誌中如果出現下方錯誤
*檢查數據源，是否把副本地址都寫全了，如果是集群mongos地址寫全
*檢查賬戶是否是同步庫的賬戶。
如果問題沒有解決，可以提交工單谘詢阿裏雲售後工程師