加速數據集__數據建模_Quick BI-阿裏雲
1.加速數據集介紹
通過直接創建極速數據集或將普通數據集加速,加速數據集功能采用事先將數據集中的表的內容預先提取到QuickBI內置的高速緩存中的方法實現極大提高在該數據集上執行的多維分析查詢的執行速度。 限製條件:
目前僅支持對MaxCompute(ODPS)數據源下用表創建出的數據集加速,ODPS下視圖和ODPS下自定義SQL暫不支持,其他數據源類型也暫不支持。
目前僅支持單表模式的數據集,不支持關聯模式下的數據集。
- 目前限製,對於每個用戶,最多加速8張表,單表記錄數不超過1千萬條。
2.加速數據集的方法
加速數據集有兩種方法:
直接創建極速數據集
在數據源 MaxCompute頁麵下,選擇未連接的某張表,點擊‘創建極速數據集’ 按鈕,可以直接由該表創建出一個極速數據集。
將普通數據集加速,升級為極速數據集
在數據集列表頁麵上,選擇某未被加速的數據集,點擊其上名為‘設為極速’操作鏈接, 可將普通數據集 加速為極速數據集。
極速數據集用到的表需要設置其主鍵字段後才能實現極速效果,一個表的主鍵下的字段可以是1個,也可以是多個,這些主鍵字段組合在一起唯一標示出表中的每一行。極速數據集的主鍵的設置界麵如下:
上麵以一張非分區的銷售記錄表為例,該表的訂單id,訂單日期,客戶名稱,訂單號,訂單金額5個字段唯一標示出該表的每一行。點擊‘確認’按鈕後,就發出了加速該數據集的指令。大約等待10分鍾不到,就可看到該數據集已經變成極速數據集,前麵有閃電標示,狀態為已加速。再使用該數據集進行查詢,可以體會到查詢速度有了極大提高。
3. 極速數據集的維護
極速數據集有三種狀態:
- 已加速
- 加速中
- 加速失敗
對已加速的極速數據集,點擊‘取消極速’紅色動作鏈接,可以將該數據集降級為普通數據集,普通數據集的加速狀態為‘未加速’。 對於加速失敗的數據集,點擊操作菜單上的‘查詢加速’菜單項,
會進入後台管理麵板下的‘加速管理’界麵,
在這裏可以查看該數據集的加速執行日誌,可以對該數據集執行重跑操作。
4.極速數據集的配置
極速數據集最多可支持兩種加速模式:
- 全量加速模式
增量加速模式
每種加速模式都有其適用的情境。
對於非分區表,隻支持全量加速模式,對於分區表,如果分區字段為非string時,也隻支持全量加速模式。全量加速模式的數據集不能進行數據生命周期管理。
首次加速的時候,不管是非分區表還是任何類型的分區表都是全量加速,用戶根據需要可以隨後在控製麵板中再去調整加速模式。
分區表支持全量加速和增量加速兩種模式,且分區字段必須為日期內容的文本類型,日期格式必須符合指定的日期格式中的某一種。
增量模式的極速數據集可以進行數據生命周期的維護,實現自動清理n天前的數據以最大利用係統分配的有限空間配額。
數據集數據生命周期的具體例子:
比方今日為2016-10-29,數據集中現有的分區值有:2016-10-24,2016-10-25,2016-10-26,2016-10-27,2016-10-28,當時2016-10-29的數據還未同步過來,
當n=3時,會自動清理不在(2016-10-27,2016-10-28,2016-10-29)這3個分區中的其他分區中的數據,留下最近3天的分區以最大有效利用有限的高速緩存存儲空間。
最後更新:2016-11-24 22:46:41
上一篇:
添加數據源__數據建模_Quick BI-阿裏雲
下一篇:
報表管理__製作報表_Quick BI-阿裏雲
高防IP結合WAF___常見接入問題_Web 應用防火牆-阿裏雲
權限__授權管理_用戶指南_訪問控製-阿裏雲
消息堆積查詢場景__場景示例_Open API_消息隊列 MQ-阿裏雲
DRDS數據源配置__數據源配置_數據同步手冊_用戶操作指南_大數據開發套件-阿裏雲
主題操作__主題模型_開發人員指南_消息服務-阿裏雲
MXNet 最佳實踐__深度學習最佳實踐_高性能計算-阿裏雲
購買安騎士、安裝安全狗被黑__用戶指南_服務器安全(安騎士)-阿裏雲
創建應用實例__應用API列表_API參考_容器服務-阿裏雲
任務運維__運維中心手冊_用戶操作指南_大數據開發套件-阿裏雲
查詢類目-樹__媒體類目接口_API使用手冊_視頻點播-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲