閱讀758 返回首頁    go 阿裏雲 go 技術社區[雲棲]


加速數據集__數據建模_Quick BI-阿裏雲

1.加速數據集介紹

通過直接創建極速數據集或將普通數據集加速,加速數據集功能采用事先將數據集中的表的內容預先提取到QuickBI內置的高速緩存中的方法實現極大提高在該數據集上執行的多維分析查詢的執行速度。 限製條件:

  • 目前僅支持對MaxCompute(ODPS)數據源下用表創建出的數據集加速,ODPS下視圖和ODPS下自定義SQL暫不支持,其他數據源類型也暫不支持。

  • 目前僅支持單表模式的數據集,不支持關聯模式下的數據集。

  • 目前限製,對於每個用戶,最多加速8張表,單表記錄數不超過1千萬條。

2.加速數據集的方法

加速數據集有兩種方法:

  1. 直接創建極速數據集

    在數據源 MaxCompute頁麵下,選擇未連接的某張表,點擊‘創建極速數據集’ 按鈕,可以直接由該表創建出一個極速數據集。

  2. 將普通數據集加速,升級為極速數據集

    在數據集列表頁麵上,選擇某未被加速的數據集,點擊其上名為‘設為極速’操作鏈接, 可將普通數據集 加速為極速數據集。odpsDataSetBefore

    極速數據集用到的表需要設置其主鍵字段後才能實現極速效果,一個表的主鍵下的字段可以是1個,也可以是多個,這些主鍵字段組合在一起唯一標示出表中的每一行。極速數據集的主鍵的設置界麵如下:setPrimaryKey上麵以一張非分區的銷售記錄表為例,該表的訂單id,訂單日期,客戶名稱,訂單號,訂單金額5個字段唯一標示出該表的每一行。點擊‘確認’按鈕後,就發出了加速該數據集的指令。大約等待10分鍾不到,就可看到該數據集已經變成極速數據集,前麵有閃電標示,狀態為已加速。再使用該數據集進行查詢,可以體會到查詢速度有了極大提高。

    3. 極速數據集的維護

    極速數據集有三種狀態:

  • 已加速
  • 加速中
  • 加速失敗

對已加速的極速數據集,點擊‘取消極速’紅色動作鏈接,可以將該數據集降級為普通數據集,普通數據集的加速狀態為‘未加速’。 對於加速失敗的數據集,點擊操作菜單上的‘查詢加速’菜單項,

queryAccelerate

會進入後台管理麵板下的‘加速管理’界麵, AcceleratedDataSet

在這裏可以查看該數據集的加速執行日誌,可以對該數據集執行重跑操作。 AcceleratedDataSetLog

4.極速數據集的配置

極速數據集最多可支持兩種加速模式:

  1. 全量加速模式
  2. 增量加速模式

    每種加速模式都有其適用的情境。

    對於非分區表,隻支持全量加速模式,對於分區表,如果分區字段為非string時,也隻支持全量加速模式。全量加速模式的數據集不能進行數據生命周期管理。

    首次加速的時候,不管是非分區表還是任何類型的分區表都是全量加速,用戶根據需要可以隨後在控製麵板中再去調整加速模式。

    分區表支持全量加速和增量加速兩種模式,且分區字段必須為日期內容的文本類型,日期格式必須符合指定的日期格式中的某一種。

    增量模式的極速數據集可以進行數據生命周期的維護,實現自動清理n天前的數據以最大利用係統分配的有限空間配額。increasedDataSet

    數據集數據生命周期的具體例子:

    比方今日為2016-10-29,數據集中現有的分區值有:2016-10-24,2016-10-25,2016-10-26,2016-10-27,2016-10-28,當時2016-10-29的數據還未同步過來,

    當n=3時,會自動清理不在(2016-10-27,2016-10-28,2016-10-29)這3個分區中的其他分區中的數據,留下最近3天的分區以最大有效利用有限的高速緩存存儲空間。

最後更新:2016-11-24 22:46:41

  上一篇:go 添加數據源__數據建模_Quick BI-阿裏雲
  下一篇:go 報表管理__製作報表_Quick BI-阿裏雲