阅读980 返回首页    go 阿里云 go 技术社区[云栖]


脏数据和容错__进阶与深入_数据集成-阿里云

数据同步通常会对接源宿两端数据存储,需要根据源宿两端数据源的具体信息适配和转换相应的数据内容。在传输过程中,可能存在由于两端元数据不匹配或者本身的业务数据传输转换失败(例如OSS上一个定义为Integer的类型存放了”abc”字符串),CDP将自动识别上述异常情况,并提供自动记录和容错机制,最大限度保证数据传输的可靠性和健壮性。

CDP 基于自动识别脏数据功能上,还提供数据传输容错上限。例如,由于历史遗留问题,用户本身知晓脏数据影响情况并且对于源端脏数据有一定容忍度。用户可以配置单个Job最大脏数据条数阈值,或者数据脏数据阈值。默认情况下,CDP对脏数据不设限制。

最后更新:2016-05-06 10:43:33

  上一篇:go 增量同步__进阶与深入_数据集成-阿里云
  下一篇:go 安装与配置__Console参考手册_数据集成-阿里云