907
iPhone_iPad_Mac_手機_平板_蘋果apple
啟動作業__作業管理_Console參考手冊_數據集成-阿裏雲
在指定的pipeline下啟動Job,Job的配置信息由-f指定的本地JSON文件或者由-j指定的JSON命令行參數指定,同樣為避免JSON和Shell轉義字符衝突,CDP不推薦-j的使用。命令格式為:
cdp job -start [-p <pipeline>] -f <file> [-v <variable>] [-async]
variable 是為配置文件做運行時變量替換使用,格式同樣是json,例如:
cdp job -start -f config-file-path -v '{"bizdate": "20140601"}'
用戶提交的config-file-path,內容如下。特別關注下odps寫入端,partition實際上引用了上述的變量{"bizdate": “20140601"},Console自動會將上述的變量替換為20140601。具體的JSON示例為:
{
"type": "job",
"traceId": "base cdp job",
"version": "1.0",
"configuration": {
"reader": {
"plugin": "mysql",
"parameter": {}
},
"writer": {
"plugin": "odps",
"parameter": {
"partition": "pt=${bizdate}"
}
}
}
}
特別需要用戶注意的是:
- CDP Job配置中,為保證Job配置的兼容性,用戶必須指定當前Job的版本號為1.0,即"version": "1.0"
- CDP Job目前隻進行數據同步,不進行元數據同步。用戶使用前必須在目的數據源創建數據表,否則將CDPJob會報錯,錯誤通知用戶目的表不存在。
最後更新:2016-11-23 16:03:59
上一篇:
終止作業__作業管理_Console參考手冊_數據集成-阿裏雲
下一篇:
設計原則__SDK參考手冊_數據集成-阿裏雲
日誌下載__日誌管理_用戶指南_CDN-阿裏雲
阿裏雲棲大會盛大開幕 CloudCC“森林”CRM生態展位成亮點
Job配置約定__作業配置說明_使用手冊_數據集成-阿裏雲
金融雲監控不能監測外部站點__技術分享_技術運維問題_金融雲-阿裏雲
表格存儲支持的操作__快速入門_表格存儲-阿裏雲
全球雲計算公司最新座次:阿裏雲擠進前三,與亞馬遜、微軟形成“3A”組合
添加ECS實例__觸發任務_用戶指南_彈性伸縮-阿裏雲
做世界雲計算的“兩極”,阿裏雲如何跨過“企業關”
定時消息和延時消息__特色功能_消息隊列 MQ-阿裏雲
nodejs__SDK手冊_OpenAPI 1.0_移動推送-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲