618
魔獸
5.3 海量數據導出__第五章 Data Pipeline_使用手冊_分析型數據庫-阿裏雲
分析型數據庫的查詢模式適合在海量數據中進行分析計算後輸出適量數據,若需要輸出的數據量達到一定規模,分析型數據庫提供數據導出(DUMP)的方式。注意目前DUMP方式中不能使用針對非分區列的聚合函數。
通過類DML語句導出到MaxCompute
前提須知
分析型數據庫通過一個固定雲賬號進行數據導出到MaxCompute(與數據從MaxCompute導入到AnalyticDB情況類似)。各個專有雲的導出賬號名參照專有雲的相關配置文檔,一般為test1000000009@aliyun.com(與導入賬號一致),公共雲導出賬號為garuda_data@aliyun.com。
需要給導入賬號授予目標MaxCompute項目的createInstance權限,以及目標表的describe、select、alter、update、drop權限。
授權命令:
--注意正確輸入需要授權的表命名、project和正確的雲賬號
USE prj_name;--表所屬ODPS project
ADD USER ALIYUN$xxxx@aliyun.com;
GRANT createInstance ON project prj_name TO USER ALIYUN$xxxx@aliyun.com;
GRANT Describe,Select,alter,update,drop ON TABLE table_name TO USER ALIYUN$xxxx@aliyun.com;
導出命令
類似於普通的SQL查詢語句,用戶也可通過類似於DML語句進行數據導出。
語法格式:
DUMP DATA
[OVERWRITE] INTO 'odps://project_name/table_name'
SELECT C1, C2 FROM DB1.TABLE1 WHERE C1 = 'xxxx' LIMIT N
通過類DML語句導出到OSS(當前為公測功能,非商業化使用)
導出到OSS時,需要持有對該oss bucket有寫權限的AK(為安全起見,必須使用子賬號的AK)。
語法格式:
/*+ dump-oss-accesskey-id=oss的ACCESS_KEY_ID,
dump-oss-accesskey-secret=oss的ACCESS_KEY_SECRET*/ DUMP DATA
[OVERWRITE] INTO 'oss://endpoint_domain/bulket_name/filename'
SELECT C1, C2 FROM DB1.TABLE1 WHERE C1 = 'xxxx' LIMIT N
說明:
- endpoint_domain是與ads同一個region的oss的內網endpoint,跨region訪問時需要填寫oss的公網endpoint(部分region之間可能無法跨region訪問oss)。
- 部分情況下,目前可能會dump oss失敗(dump下的sql中有分區傾斜時)
關於返回數據行數
導出方式對海量數據的計算輸出具有良好的性能(百萬行數據導出在數百毫秒數據級),但是,對於數據精確度有一定犧牲,即實際返回的數據行數,可能是不完全精確。以限製導出行數為1000為例(LIMIT 1000):
- 實際數據行數可能稍大於1000,例如此時有120個數據分片,則等同於每個分區明確指定”LIMIT 9”,最多肯能返回1080
- 實際數據行數可能稍小於1000,如果符合條件的行數的總數小於1000
- 實際數據行數可能稍小於1000,如果數據分片很均勻,例如此時有120個數據分片,如果某些分片返回數據行小於9的話,則等同於每個分區明確指定”LIMIT 9”
最後更新:2016-11-29 18:01:46
上一篇:
5.2 數據導入狀態查詢__第五章 Data Pipeline_使用手冊_分析型數據庫-阿裏雲
下一篇:
6.1 用戶賬號類型與用戶管理__第六章 用戶與權限_使用手冊_分析型數據庫-阿裏雲
桌麵環境設置__操作指南_高性能計算-阿裏雲
計費策略__購買指導_分析型數據庫-阿裏雲
步驟 4:購買域名__搭建 WordPress 網站_建站教程_雲服務器 ECS-阿裏雲
添加記錄__解析記錄操作_產品使用手冊_雲解析-阿裏雲
步驟1:選配證書__快速入門_證書服務-阿裏雲
術語表__簡介_RAM API文檔_訪問控製-阿裏雲
容器商品接入__商品接入_服務商_雲市場-阿裏雲
CDN設置多個源站IP的回源策略__運維技術分享_技術運維問題_CDN-阿裏雲
商業化服務等級協議__服務條款與價格模型_分布式關係型數據庫 DRDS-阿裏雲
論壇__相關資源_用戶指南_專有網絡 VPC-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲