534      机器人

增量同步__进阶与深入_数据集成-阿里云

增量数据同步是数据同步业务层面实现，具体到底层数据同步分为批量Snapshot同步以及变更操作日志同步。CDP Job通过数据存储数据API接口完成批量数据同步功能，因此CDP Job本身不支持获取数据存储系统层面的变化过程。例如CDP无法通过获取解析RDS BinLog日志反查数据变化量并同步到目的数据源。

用户的增量业务需求，不仅仅只能通过系统级别增量变化日志解析实现数据增量同步。实际上，业界对于增量同步有诸多解决方案：

• 时间戳方式：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。在阿里数据库使用实践中，所有的在线业务系统按惯例都默认添加了create_time、modify_time，对于在线业务写入均自动修改上述两个字段，记录修改时间。CDP在进行数据同步过程中，仅需要在Mysql抽取环节配置where过滤条件做增量抽取。

• 触发器方式：抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。对于此类应用方式，CDP在进行数据同步时仅需指定抽取触发器写入表即可。
• 表方式：在业务系统中添加系统日志表，当业务数据发生变化时，更新维护日志表内容，当作ETL 加载时，通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式，CDP同样使用Where过滤条件做增量抽取。
• 日志表方式：在业务系统中添加系统日志表，当业务数据发生变化时，更新维护日志表内容，当作ETL 加载时，通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式，CDP同样使用Where过滤条件做增量抽取。

最后更新：2016-05-06 10:43:33

  上一篇： 唯一性保证__进阶与深入_数据集成-阿里云

  下一篇： 脏数据和容错__进阶与深入_数据集成-阿里云