950      iPhone_iPad_Mac_手機_平板_蘋果apple

架構介紹__產品與_畫像分析-阿裏雲

前言

隨著近五年互聯網和大數據技術的蓬勃發展，各類數據產品應運而生，從阿裏自身大數據的應用發展來看可以看到幾方麵的挑戰：

• 一方麵為了應對數據量高速的增長，衍生出各類的分布式數據計算與存儲技術解決各類應用場景下的難題，而非傳統IT架構當中隻需要單一數據庫就可以支撐整個企業的數據分析報表問題；各類數據的積累如何進行有效的整合與管理，各個業務庫的數據之間如何打通在多個計算存儲資源上合理的分布管理也成為一大難題；
• 另一方麵，大數據在各個行業當中的應用，如數字廣告、互聯網金融、電子商務、在線風控等場景當中，一個數據應用需要囊括報表分析、行為預測、實時監控、信用評分、個性化推薦、文本挖掘、時空數據等各類大數據技術方法的綜合運用，而不僅僅是做企業經營的報表統計；
• 並且，當下對運用數據的用戶也不隻是局限在專業的數據分析師、數據倉庫工程師，更多的是能夠讓非技術背景的業務人員能夠以他能夠理解的方式靈活的探查數據。

在這三方麵之下，如果想要運用好大數據就對企業的IT架構、技術人員綜合能力的要求提出了更高的挑戰，既要能了解各個專業分布式計算和存儲資源的特性，又要求能將這些資源針對數據分析、算法服務等多種應用場景進行合理的架構，還要能夠針對業務人員使用數據的場景足夠了解並告訴相應，製作出麵向業務的數據產品。

阿裏雲DTBoost數據加速器產品從大數據應用落地點出發，提供了一套大數據應用開發套件，能夠幫助開發者從業務需求的角度有效的整合阿裏雲各個大數據產品，大大降低搭建大數據應用係統當中絕大部分的係統工程工作，在相應行業應用解決方案的結合下，能夠讓不是很熟悉大數據應用係統開發的程序員也能夠快速為企業搭建大數據應用，從而實現大數據價值的快速落地。

產品概述

概括來講，DTBoost是以標簽中心為基礎，建立跨多個雲計算資源之上的統一邏輯模型，開發者可以在“標簽”這種邏輯模型視圖上結合畫像分析、規則預警、文本挖掘、個性化推薦、關係網絡等多個業務場景的數據服務模塊，通過接口的方式進行快速的應用搭建。這種方式的好處一在於屏蔽掉應用開發人員對於下層多個計算存儲資源的深入理解與複雜的係統對接工作，二在於通過數據服務的形式透出也有助於IT部門對數據使用的管理，避免資源的重複和冗餘。 簡單來說，因為大數據計算能力的增強，開發者隻需要把需要使用的數據在模型當中進行管理後，即可通過API方式進行相應的計算對接到產品界麵端上，或通過提供的界麵配置功能直接生成可以獨立部署的代碼快速搭建相應的大數據產品。

整個產品係列包括如下多個模塊：

畫像分析

• 標簽中心
• 分析服務
• 界麵配置

規則引擎（即將公測）

數字營銷（即將公測）

架構概況

在大數據環境下，一個數據應用往往需要通過多個計算資源來配合完成，最簡單來說，一般數據需要先在離線環境當中進行離線加工處理(ETL)，再同步至在線數據庫當中進行在線分析查詢(OLAP)。那麼標簽中心所能夠做的就是與多個數據庫進行通信，獲取多個計算存儲資源的數據元信息後進行邏輯建模，並把各個數據服務模塊接口傳入的指令解析後將真實的計算命令傳給每一個計算資源。下麵以其中以DTBoost數據服務模塊當中整合分析作為案例來解釋總體的架構。 以最常見的OLAP分析場景來看，一般需要從業務庫當中將數據進行抽取，加載到大數據（離線）計算服務MaxCompute當中進行集中，進行相應的加工、衍生後，再把所需要分析的數據同步到在線分析庫（在大數據量下通常會使用分析型數據庫AnalyticDB）當中。

從上圖可以看到，用戶從DTBoost控製台或API進入，通過把自己的雲計算資源授權給DTBoost後，就可以通過DTBoost讀取各個雲計算資源中的數據元信息。經過建模配置後，在相關的數據服務模塊中可以進行手工/自動觸發標簽中心的智能搬運模塊，通過把相關的數據同步調度任務發送給數據流服務DFS(Data Flow Service)和數據整合CDP，來對所需要整合的數據以標簽粒度來進行業務庫到離線數據倉庫的批量大集中，以及到在線分析數據庫的同步、建表、索引工作。在數據準備完成之後，就可以通過相關的數據服務API接口或者在控製台上基於標簽模型視圖之上進行相關的計算。對於當中需要離線計算加工的部分，一些常用的加工可以通過標簽工廠來對標簽進行批量的衍生（如常見的聚合、篩選組合等）落地到大數據計算服務當中（MaxCompute）。 整個過程可以看做DTBoost在大數據平台之上對各個計算資源之間滿足常見業務場景的架構方案進行了係統集成，簡化了各個係統之間手工對接等過程。

整個過程可以看做DTBoost在大數據平台之上對各個計算資源之間滿足常見業務場景的架構方案進行了係統集成，簡化了各個係統之間手工對接等過程。

用戶除通過管理控製台對各個模塊進行配置操作以外，各個模塊從數據元信息到數據服務的操作處理都可以透過開放API整合入自己的應用係統當中。這種服務化的方式一方麵提高了係統整合的便利性，另一方麵也對企業數據應用管理上提供了便利。

從企業IT架構上來看，IT或者數據部門可以通過DTBoost以數據服務化的方式把計算資源、數據資源、數據計算方法打包在一起，提供給業務部門開發、外部合作夥伴。一方麵對應用開發者來說即開通即使用，方便快捷；另一方麵從IT部門來說，對於平台的資源管控更加有效，一定程度上降低了數據的冗餘存儲與加工，特別針對於業務算法、消費者畫像這些需要使用到明細數據計算的場景，既能夠使用到明細數據，又不會影響到原始數據的生產，不造成大數據量的冗餘拷貝，還能夠降低數據使用的門檻，提供了有力的支撐。

最後更新：2016-12-01 18:48:15

  上一篇： 標簽建模__產品與架構介紹_畫像分析-阿裏雲

  下一篇： 畫像分析__產品與架構介紹_-阿裏雲