閱讀907 返回首頁    go iPhone_iPad_Mac_手機_平板_蘋果apple


啟動作業__作業管理_Console參考手冊_數據集成-阿裏雲

在指定的pipeline下啟動Job,Job的配置信息由-f指定的本地JSON文件或者由-j指定的JSON命令行參數指定,同樣為避免JSON和Shell轉義字符衝突,CDP不推薦-j的使用。命令格式為:

cdp job -start [-p <pipeline>] -f <file> [-v <variable>] [-async]
 variable 是為配置文件做運行時變量替換使用,格式同樣是json,例如:
cdp job -start -f config-file-path -v '{"bizdate": "20140601"}'

​ 用戶提交的config-file-path,內容如下。特別關注下odps寫入端,partition實際上引用了上述的變量{"bizdate": “20140601"},Console自動會將上述的變量替換為20140601。具體的JSON示例為:

{
    "type": "job",
    "traceId": "base cdp job",
    "version": "1.0",
    "configuration": {
        "reader": {
            "plugin": "mysql",
            "parameter": {}
        },
        "writer": {
            "plugin": "odps",
            "parameter": {
                "partition": "pt=${bizdate}"
            }
        }
    }
}

特別需要用戶注意的是:

  • CDP Job配置中,為保證Job配置的兼容性,用戶必須指定當前Job的版本號為1.0,即"version": "1.0"
  • CDP Job目前隻進行數據同步,不進行元數據同步。用戶使用前必須在目的數據源創建數據表,否則將CDPJob會報錯,錯誤通知用戶目的表不存在。

最後更新:2016-11-23 16:03:59

  上一篇:go 終止作業__作業管理_Console參考手冊_數據集成-阿裏雲
  下一篇:go 設計原則__SDK參考手冊_數據集成-阿裏雲