閱讀244 返回首頁    go 人物


可重跑與冪等性__進階與深入_數據集成-阿裏雲

​CDP定位在為各類數據存儲提供數據傳輸通道功能,在定期自動化運行數據同步場景,如數倉ETL流程,要求所有的數據同步Job能夠做到多次數據同步能夠和單次數據同步最終結果一致。例如當一次數據同步Job出現Fail情況,用戶可以直接重啟CDP任務而不需要到目的數據端進行線上數據清理操作。這在數倉領域屬於Job冪等性要求。

​CDP Job的冪等性是通過Writer插件的前置條件來實現的,例如用戶可寫ODPS配置中提供數據寫入前的清理工作,該配置可以保證每次數據導入前都會先清除當前表或者分區的現有數據,這樣能夠保證數據多次寫入的結果和當前一次性寫入結果一致。

最後更新:2016-05-06 10:43:33

  上一篇:go 類型轉換__進階與深入_數據集成-阿裏雲
  下一篇:go 原子語義__進階與深入_數據集成-阿裏雲