907
iPhone_iPad_Mac_手机_平板_苹果apple
启动作业__作业管理_Console参考手册_数据集成-阿里云
在指定的pipeline下启动Job,Job的配置信息由-f指定的本地JSON文件或者由-j指定的JSON命令行参数指定,同样为避免JSON和Shell转义字符冲突,CDP不推荐-j的使用。命令格式为:
cdp job -start [-p <pipeline>] -f <file> [-v <variable>] [-async]
variable 是为配置文件做运行时变量替换使用,格式同样是json,例如:
cdp job -start -f config-file-path -v '{"bizdate": "20140601"}'
用户提交的config-file-path,内容如下。特别关注下odps写入端,partition实际上引用了上述的变量{"bizdate": “20140601"},Console自动会将上述的变量替换为20140601。具体的JSON示例为:
{
"type": "job",
"traceId": "base cdp job",
"version": "1.0",
"configuration": {
"reader": {
"plugin": "mysql",
"parameter": {}
},
"writer": {
"plugin": "odps",
"parameter": {
"partition": "pt=${bizdate}"
}
}
}
}
特别需要用户注意的是:
- CDP Job配置中,为保证Job配置的兼容性,用户必须指定当前Job的版本号为1.0,即"version": "1.0"
- CDP Job目前只进行数据同步,不进行元数据同步。用户使用前必须在目的数据源创建数据表,否则将CDPJob会报错,错误通知用户目的表不存在。
最后更新:2016-11-23 16:03:59
上一篇:
终止作业__作业管理_Console参考手册_数据集成-阿里云
下一篇:
设计原则__SDK参考手册_数据集成-阿里云
日志下载__日志管理_用户指南_CDN-阿里云
阿里云栖大会盛大开幕 CloudCC“森林”CRM生态展位成亮点
Job配置约定__作业配置说明_使用手册_数据集成-阿里云
金融云监控不能监测外部站点__技术分享_技术运维问题_金融云-阿里云
表格存储支持的操作__快速入门_表格存储-阿里云
全球云计算公司最新座次:阿里云挤进前三,与亚马逊、微软形成“3A”组合
添加ECS实例__触发任务_用户指南_弹性伸缩-阿里云
做世界云计算的“两极”,阿里云如何跨过“企业关”
定时消息和延时消息__特色功能_消息队列 MQ-阿里云
nodejs__SDK手册_OpenAPI 1.0_移动推送-阿里云
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云