642
魔獸
2.1 數據庫/表組/表/分區__第二章 基本概念_使用手冊_分析型數據庫-阿裏雲
在傳統的關係數據庫係統中,表隸屬於某個數據庫。而分析型數據庫為了方便的進行數據的關聯的管理,以及進行資源分配,引入了表組的概念。
數據庫
在分析型數據庫中,數據庫是用戶和係統管理員的管理職權的分界點。
係統管理員:可管理的最小範圍即數據庫粒度的參數,但未經授權無法查看和管理數據庫內部的結構和信息。
用戶:對於數據庫級別的參數,默認隻能查看而不能修改。
在分析型數據庫中,一個數據庫對應一個用於訪問的域名和端口號,同時有且隻有一個onwer即數據庫的創建者。
- 分析型數據庫是以數據庫為粒度對用戶的宏觀資源進行配置,因此創建數據庫時用戶需要輸入業務預估的QPS、數據量、Query類型等信息 用於智能的判斷初始的資源分配。
- 分析型數據庫的用戶不能直接通過CREATE DATABASE的DDL語句創建數據庫,隻能通過DMS控製台界麵來創建需要的業務數據庫。
表組
表組是一係列可發生關聯的數據表的集合。分析型數據庫采用關係模型存儲數據,也就是使用二維表來進行數據的組織和存儲。分析型數據庫為了管理相關聯的數據表,引入了表組的概念。
- 表組是數據庫的下一級實體,也是表的上一級。
- 在分析型數據庫中一個表必須從屬於一個表組。
分析型數據庫中表組分為兩類:維度表組和普通表組。
- 維度表組,用於存放維度表,目前有且僅有一個,在數據庫建立時會自動創建(表組名稱:”數據庫名_dimension_group”),用戶不可修改和刪除。(維度表特征上是一種數據量較小但是需要和任何表進行關聯的表。)
- 普通表組,有如下特征:
- 表組是數據物理分配的最小單元,數據的物理分布情況通常無需用戶關心,但是數據的副本數必須在表組上進行設定,一個表組所有表副本數一致。注:副本數指數據在分析型數據庫中同時存在的份數。
- 同一個表組內的普通表才能進行快速的hash join。(0.9版本之前分析型數據庫對普通表僅支持同表組內join。0.9.5版本後支持不同普通表組內的普通表進行join)
- 一個表組的表可以共享一些配置,例如查詢超時時間,如果表組中的單表也進行了這些配置的個性化,那麼進行表關聯時會通表組級別的配置進行覆蓋。
- 一個表組中的所有表的一級Hash分區的分區數建議一致,但非強製性要求。
表
分析型數據庫中表分為維度表和普通表,普通表也稱實時表或分區表。
- 維度表可以和任意表組的任意表進行關聯,並且創建時不需要配置分區信息,但是對單表數據量大小有所限製,並且需要消耗更多的存儲資源。(一般要求維度表單表不超過1000萬)
- 普通表創建時至少要指定一級分區列和相關分區信息,並且指定存放在一個表組中。
分區
在分析型數據庫中,維度表無分區,普通表的分區目前最多為兩級。
分區種類有Hash分區和List分區兩種。目前分析型數據庫支持將普通表的一級分區設置為Hash分區,二級分區設置為List分區,即可支持 Hash join又可支持增量數據導入。
Hash分區是根據導入數據時已有的一列的內容進行散列後進行分區的,目前多張事實表進行快速的Hash Join時JoinKey必須有分區列參與,同時這些表的Hash分區數必須一致。僅采用Hash分區的數據表,在數據裝載時,將進行全量覆蓋曆史數據。
注:0.9版本之前,不支持事實表在沒有Hash分區鍵參與關聯條件的情況下進行關聯,0.9.5版本後,通 過Full MPP Mode或小表廣播進行計算時無此限製,關於 join的詳細內容請看《多計算引擎和Hint》章 節。
List分區是根據導入操作時所填寫的分區列值來進行分區的,即一次導入的數據會進入同一個List分區中,因此List分區是支持增量的數據導入的。
注:無論采用何種分區形態,分析型數據庫均不需要在用戶查詢時指定分區列,但是指定分區列或分區列的範圍進行查詢可能會提高查詢性能。
根據表的更新方式不同,分析型數據庫的表分為離線批量更新的表和實時更新的表:
- 離線批量更新的表,適合從離線係統如MaxCompute(原ODPS)產出的數據結果導入到分析型數據庫供在線係統使用。
- 實時更新的表,可以直接insert/delete單條數據,適合業務係統直接寫入數據。同時實時更新的表不提供二級分區功能(因為默認支持增量,無需二級分區)。
注意,分析型數據庫不支持讀寫事務,並且數據實時更新時一分鍾左右才可查詢,另外在一致性方麵分 析型數據庫遵循最終一致性。
最後更新:2016-12-06 11:56:38
上一篇:
1.1 開通服務__第一章 快速開始_使用手冊_分析型數據庫-阿裏雲
下一篇:
2.2 數據類型支持__第二章 基本概念_使用手冊_分析型數據庫-阿裏雲
創建APP__快速開始_移動數據分析-阿裏雲
峰值690G!阿裏雲協助警方破獲國內最大黑客攻擊案
獲取作業描述__SDK接口說明_Java版SDK_批量計算-阿裏雲
阿裏雲發布Link物聯網平台,庫偉:未來五年將推動服務100萬的開發者
跨阿裏雲賬號的ECS自建數據庫遷移至RDS__最佳實踐_數據傳輸-阿裏雲
服務配置__產品管理_控製台使用手冊_阿裏雲物聯網套件-阿裏雲
類型3:視音頻點播加速__用戶指南_CDN-阿裏雲
RTMP推流上傳__上傳文件_開發人員指南_對象存儲 OSS-阿裏雲
示例一__快速開始_Quick BI-阿裏雲
訂閱關係一致__最佳實踐_消息隊列 MQ-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲