閱讀1056 返回首頁    go iPhone_iPad_Mac_手機_平板_蘋果apple


畫像分析__產品與架構介紹_-阿裏雲

畫像概況

數據服務是架設在標簽視圖之上的業務功能模塊,可以通過界麵化的配置或者API的操作能夠以標簽為裏度對跨計算資源的數據進行統一的業務計算操作。透過數據服務+邏輯建模的組合,既節省工作量又有很好的擴展性。特別是對於大數據環境需要整合多個係統數據的前提下,很難一次把所有數據需求全部規劃完整,那麼這種動態邏輯建模的方式就有非常好的擴展性。從應用的角度來說,由標簽模型視圖層隔開明細數據複雜的數據結構,能夠在相對扁平的標簽體係之上進行明細數據上計算和查詢,對於數據開發與應用開發的分工流程上來說也是更為合理的。

整合分析作為DTBoost數據服務的其中之一,其所適用的場景主要是結合阿裏雲分析型數據庫(Analytics DataBase),將您分布在多個存儲資源的數據整合起來,在標簽模型上構建大數據畫像類的交互式分析應用,讓您的業務人員可以自由靈活的分析這些對象各種屬性與行為之間的關聯性。可以廣泛應用於工業設備畫像分析、企業經營畫像分析、用戶行為畫像分析等多個場景當中。

大數據畫像類分析應用有如下幾個特性

  • 基於行為等明細數據的分析

    在過去以各項KPI指標計算為主要分析目的背景下,很容易把所有的指標計算提前構建。隨著數據采集和使用場景的豐富,業務人員希望能夠自由地分析各類行為明細數據,如查看不同客戶屬性在各個商品類目下消費的偏好和關聯購買的情況,或者不同時間采購的不同類型、屬性、地域設備的故障率與檢修情況,還能夠把多個維度細分下的具體客戶/設備清單進行查看。業務人員進行的分析可能是任意維度之間的交叉關係,就很難進行預先的計算。

  • 從半結構化數據中抽取特征

    從另一點來說,靈活分析還意味著能夠與預測、評分、文本特征提取等算法技術相結合,進行廣度與深度兼備的分析。往往很多的畫像特征如抽象的興趣,如喜歡動漫``愛美一族等風格興趣偏好類的特征,通常需要通過算法從用戶的點擊、收藏、購買行為與相關物品的文本描述當中進行特征抽取。這就需要能夠借助一些偏好計算、文本挖掘類的算法能夠從這些半結構化的數據當中對用戶互相的特征進行深度的挖掘。

  • 交互式的查詢分析

    業務人員希望得到的分析是在數據當中探索有用的信息,如發現影響消費者購買的可能因素,或者故障設備的關聯因素,這就需要能夠根據不斷調整的篩選條件、維度組合、下鑽上聚能夠快速返回結果,直到獲取到足夠多的信息。這就對查詢速度的高響應提出了要求。

    在這種交互式的分析場景下也對整體界麵的組織提出了要求,業務人員關心的是在不斷探索中獲得的數據洞察,如果還需要用戶進行複雜的報表配置或者是數據結構/技術上的學習理解,就會大大影響數據探索發現的過程。各種數據的分析還需要與各種類型的可視化形態結合,除了常規的圖表外,可能還需要各種尺度特別是城市內尺度的地圖圖表,表達拓撲關係的關係網絡圖表,以及能展示文本特征的圖表。

從以上幾點來看,交互式數據分析產品的開發變得非常有挑戰性,應用開發當中既需要充分理解數據結構,才能把跨表查詢的邏輯與界麵交互進行有機的組織;還需要了解多個專業存儲與計算資源的特性,把不同計算產出的結果組織到同一個分析界麵當中;也需要熟悉各類的可視化圖表與分析控件的使用方法,結合到不同類型的分析當中。DTBoost整合分析模塊就是麵向這類場景為您提供以下功能,幫助您加速應用開發的難度。

功能組件

從功能上來看整合分析提供了兩大塊的功能,分析服務層部分用戶在管理控製台中可以完成

接口調試

分析服務接口模塊可以讓您在此進行分析語句的調試,和自助化封裝數據分析接口。您可以將分析。畫像分析的查詢表達都是建構在實體關係模型之上的。並且可以對接口進行調試,查看查詢的結果/執行錯誤,以及語法每一步解析所耗費的時間,所解析的真實SQL語句,來幫助您調試分析接口。

接口調試

界麵配置

通過畫像分析界麵搭建工具,靈活配置交互式畫像分析界麵。對篩選出來的特定的分析對象進行多維透視,並進一步鑽取分析,並可以將分析篩選出來的對象導出到其他係統當中,如結合廣告投放係統進行精準營銷。整個界麵的代碼是完全開放的,可以無縫與您的現有係統進行整合。

界麵配置2

界麵配置1

上層提供的交互分析應用框架是以源代碼的方式提供,用戶隻需把整個應用運行,會根據配置文件的填寫自動渲染出一個可進行交互式分析的界麵。用戶可以進行代碼的修改進行樣式的改造。多個配置文件可以通過配置從不同的URL進行路由,讓不同的用戶可以看到不同的分析應用。

下圖為某客戶成功案例界麵配置成功案例

典型應用

用戶全景畫像

在受眾分析、CRM、用戶行為、人口分析等場景下,通常需要對這些人群的明細行為數據進行分析。分析人員在進行分析的時候,可能多種行為與多種用戶屬性之間的組合篩選變化多樣,無法按傳統數據分析建模方法提前預算好所有組合。

  1. 用戶根據消費者行為選取想要分析的目標群體全景洞察1

  2. 對於選取的目標群體,分析其各項特征,發現分布密集的特征全景洞察2

  3. 根據這些典型特征,找到還未購買的群體,針對這類群體對接下遊係統,進行數據導出,進行定向廣告推送。全景洞察3

設備全履曆

設備全履曆1

設備全履曆2

設備故障統計

技術架構

畫像分析技術架構

從技術架構來講分為兩個部分,在服務層部分通過TQL查詢接口接收用戶輸入的參數,結合標簽模型中的元信息會進行真實SQL的語法解析,然後把相應的SQL傳送給相應的計算資源進行計算,通過接口獲得返回的計算結果。使用Debug模式同時返回所解析的真實SQL以及每一步計算所耗費的時長,可以用於優化相應的查詢語句。此處的語法解析主要是把用戶在扁平化的標簽模型視圖上的查詢邏輯,翻譯為真實的多個表之間關聯JOIN的查詢。

數據訂閱部分可以通過界麵實現數據的一鍵搬遷,控製台界麵會調用數據訂閱的接口獲取相應數據的元信息,調用標簽中心底層智能搬運的接口,在相應的計算存儲資源會自動建表建立索引後,觸發調度任務進行數據同步。

在交互分析的應用框架層,會提供應用開發配置框架的源代碼。其中包括相應的前端組件,WebService後端服務,界麵配置文件,以及根據界麵配置文件渲染相應界麵同時翻譯為相應的查詢的接口。同時配置文件還能夠進行相應的路由配置,讓不同的頁麵URL可以路由到不同的配置,讓不同的人看到不同的界麵。

產品特性

  1. 一鍵數據整合

    針對不同的分析主體,您可一鍵完成分布在多個存儲資源當中的多個標簽到在線查詢數據庫當中的同步、索引工作,像管理一張表一樣的管理不同數據源。兼容的在線分析數據庫既可以是阿裏雲分析型數據庫(Analytics DataBase),也可以是阿裏雲RDS關係型數據庫

  2. Web開發友好

    Web應用開發者者直接通過與整合分析查詢和標簽元信息API接口的交互,結合阿裏雲DataV或是其他圖表組件,即可以快速搭建自己的分析型數據產品。

  3. 查詢表達簡單

    在扁平化的標簽體係上,一定程度簡化了表關聯和子查詢的表達,讓Web應用開發人員更加關注在應用邏輯而非數據表的組織邏輯。查詢參數提供JSON對象模式,也提供與SQL相似的的TQL(Tag Query Laugage)模式。

  4. 與DTBoost其他模塊無縫結合由於標簽體係下,多個模塊之間共享同一個標簽視圖,以及同一個標簽在不同的存儲計算資源能夠自動搬遷,使得整合分析能夠與DTBoost的算法模塊、特征工程模塊、實時預警模塊產出的數據有一致性的表達,相互打通無縫結合。

  5. 交互式分析應用框架

    以SDK代碼的方式提供分析界麵配置工具,即刻生成交互式的分析應用。相比傳統BI工具,配置出來的分析界麵像一個獨立的交互分析產品,可以整合入您整體的分析係統當中,更容易讓用戶靈活的洞察,對實體的屬性、行為、地理出行等進行靈活的分析。

最後更新:2016-12-01 18:48:15

  上一篇:go 架構介紹__產品與_畫像分析-阿裏雲
  下一篇:go 使用概覽__使用手冊_畫像分析-阿裏雲