488
大數據開發套件-數據集成-雲mongo跨區域同步到Maxcompute
在大數據開發套件中是可以實現mongo同步到Maxcompute。
數據集成文檔：https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I
後端是通過華東1區的調度資源進行數據的調度傳輸。但是如果阿裏雲mongo不在華東1在其他區域，使用默認資源組就不能正常同步了。那麼就需要用戶通過自己添加調度機器進行同步。
1，準備一台調度服務器，要求必須和雲mongo相同網絡類型相同的區域。
官方文檔：https://help.aliyun.com/document_detail/52330.html?spm=5176.7849806.6.597.l1cpB0
注意：
*請務必使用內網ip新增注冊調度資源
*請務必使用ecs實例的主機名稱，要求和機器上 hostname下的主機名稱一致，修改後的主機名稱會出現異常。
大數據開發套件-項目管理-調度資源管理-新增調度資源
增加主機名和內網ip
然後到ecs服務器上初始化
執行初始化命令會有下圖
如果成功初始化，一般會顯示下載各種需要的包
最後到控製台看下服務器狀態，刷新幾次
2，在大數據開發套件-數據集成-數據源-新數據源-選擇mongo數據源類型
在這裏注意，如果是mongo副本集，把副本地址都要添加進去
如果是集群，把mongos的地址也都添加進去
3，在數據集成-新建任務
數據集成中mongo數據源暫時不支持向導模式，選擇腳本模式
選擇來源是mongo，目標odps（即maxcompute）
然後確認會生成腳本模版
具體配置可以參考
```{
"configuration": {
"reader": {
"plugin": "mongodb",
"parameter": {
"datasource": "mongoxxxtest",//數據源名稱
"column": [
{
"name": "title",
"type": "description"
}
],
"collectionName": "shangdantest"//集合名稱
}
},
"writer": {
"plugin": "odps",
"parameter": {
"partition": "",
"truncate": false,
"datasource": "aliyunxxxodps",
"column": [
"title",
"desc_d"
],
"table": "mongo_test"
}
},
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"concurrent": "1",
"mbps": "1"
}
}
},
"type": "job",
"version": "1.0"
}
可以參考官方文檔配置
https://help.aliyun.com/knowledge_detail/50354.html?spm=5176.7849806.2.13.l1cpB0
配置完成後，點擊保存-提交
然後到運維中心-任務管理-找到任務-測試運行看下
任務運行如果失敗
到運維中心-任務運維-查看任務運行的日誌
日誌中如果出現下方錯誤
*檢查數據源，是否把副本地址都寫全了，如果是集群mongos地址寫全
*檢查賬戶是否是同步庫的賬戶。
如果問題沒有解決，可以提交工單谘詢阿裏雲售後工程師
最後更新：2017-06-09 17:01:34