75      小米  小米6

Pipeline(數據管道)__產品概念_產品簡介_數據集成-阿裏雲

Pipeline是CDP權限管理、資源隔離的基本單元，為權限管理、安全控製提供管理和控製，同時也是數據同步Job運行的容器，為Job提供資源管控、運行調度等服務化功能。Pipeline分為普通Pipeline和ECS Pipeline。其中:

• 普通Pipeline是在阿裏雲提供的服務器上創建，所有的同步作業也是運行在阿裏雲提供的服務器上，Pipeline數量、帶寬是有限的，目前每個雲賬戶申請並開通CDP服務後，暫定隻允許開通1個Pipeline;
• ECS Pipeline上的同步作業是運行在用戶自己的ECS機器上，數據集成平台對ECS Pipeline數量、帶寬不作限製。

二、作用

• 同步運行的容器

  Pipeline是CDP進行數據同步的運行容器，為Job提供資源管控、運行調度的集群化、服務化功能。每個Job在啟動提交時必須指定具體的Pipeline運行。Pipeline為該Job進行調度管控，保證Job能夠遵守FIFO的調度規則，並阻止Job最大運行帶寬超出Pipeline的額定帶寬，避免對其他用戶造成影響。同時，Pipeline在啟動Job後實時追蹤該Job運行狀態，並提供流控、實時匯報等機製保證Job正常運行。

• 權限管理的空間

Pipeline是CDP進行權限管理的基本單位，每個Pipeline都有自己單獨的權限管理域。不同用戶Pipeline之間的互相不會受到幹擾。

每個CDP用戶允許且僅運行創建一個CDP Pipeline，該用戶稱之為Pipeline Owner(簡稱Owner，下同)。Owner對持有的Pipeline及下屬的作業享有全部控製權限，包括Job 各類CRUD操作。CDP目前沒有處理Pipeline多用戶權限模型。如果需要複雜的Pipeline內部授權，CDP將交給上層應用類似於彩雲間之類的麵向領域解決方案的服務去解決。

• 資源隔離的空間

Pipeline是資源隔離的單元，Pipeline之間的管道資源以及底層的引擎等資源都是相互隔離的，一個Project的運行任務不會影響其他的Pipeline任務運行。這樣可保證Pipeline不會受到其他因素的幹擾，從而保證了CDP產品的健壯性。

最後更新：2016-11-24 11:23:47

  上一篇： 同步概念__產品概念_產品簡介_數據集成-阿裏雲

  下一篇： Job(作業)__產品概念_產品簡介_數據集成-阿裏雲