351
阿裏雲
導入MySQL數據__快速入門_雲數據庫 HybridDB-阿裏雲
雲數據庫HybridDB(ApsaraDB HybridDB)是一種在線MPP大規模並行處理數據倉庫服務。雲數據庫HybridDB基於Greenplum Database開源數據庫項目,並由阿裏雲深度擴展支持OSS存儲、JSON數據類型、HyperLogLog預估分析等功能特性。
mysql2pgsql
工具 mysql2pgsql 支持不落地的把 MYSQL 中的表遷移到 HybridDB/PostgreSQL/PPAS。此工具的原理是,同時連接源端mysql數據庫,和目的端HybridDB/PostgreSQL/PPAS數據庫,從mysql庫中通過查詢得到要導出的數據,然後通過COPY命令導入到目的端。此工具支持多線程導入(每個工作線程負責導入一部分數據庫表)。
參數配置
修改配置文件 my.cfg,配置源和目的庫連接信息
1. 源庫 mysql 連接信息
[src.mysql]
host = "192.168.1.1"
port = "3306"
user = "test"
password = "test"
db = "test"
encodingdir = "share"
encoding = "utf8"
2. 目的庫 pgsql (包括 Postgresql、PPAS 和 HybridDB )連接信息
[desc.pgsql]
connect_string = "host=192.168.1.1 dbname=test port=5888 user=test password=pgsql"
注意
1. 源庫 mysql 的連接信息中,用戶需要有對所有用戶表的讀權限
2. 目的庫 pgsql 的連接信息,用戶需要對目標表有寫的權限
mysql2pgsql用法
./mysql2pgsql -l <tables_list_file> -d -j <number of threads>
其中參數的意義如下:
-l 為可選參數,指定一個文本文件,文件中含有需要同步的表;如果不指定此參數,則同步配置文件中指定的數據庫下的所有表。<tables_list_file>
為一個文件名,裏麵含有需要同步的表集合以及表上查詢的條件,其內容格式示例如下:
table1 : select * from table_big where column1 < '2016-08-05'
table2 :
table3
table4: select column1, column2 from tableX where column1 != 10
table5: select * from table_big where column1 >= '2016-08-05'
-d 為可選參數,表示隻生成目的表的建表DDL語句,不實際進行數據同步。
-j 為可選參數,指定使用多少線程進行數據同步;如果不指定此參數則會使用5個線程並發。
典型用法
1 全庫遷移
1)通過下麵的命令,獲取目的端對應的表的DDL
./mysql2pgsql -d
然後根據這些DDL,再加入distribution key等信息,在目的端創建表。
2)執行下麵的命令,同步所有表:
./mysql2pgsql
此命令會把配置文件中所指定的數據庫中的所有mysql表數據遷移到目的端。過程中使用5個線程(即缺省線程數為5),讀取和導入所有涉及的表數據。
2. 部分表遷移
1)編輯一個新文件tab_list.txt,放入如下內容:
```
t1
t2 : select * from t2 where c1 > 138888
```
2) 執行下麵的命令,同步指定的t1和t2表(注意t2表隻遷移符合c1 > 138888條件的數據):
./mysql2pgsql -l tab_list.txt
mysql2pgsql工具下載鏈接
請詳細閱讀阿裏雲的開源項目rds_dbsync並進行編譯安裝 https://github.com/aliyun/rds_dbsync/blob/master/doc/design.md
最後更新:2016-12-01 11:09:16
上一篇:
高速 OSS 並行導入導出__快速入門_雲數據庫 HybridDB-阿裏雲
下一篇:
導入PostgreSQL數據__快速入門_雲數據庫 HybridDB-阿裏雲
SSL 方式接入示例__Java 接入示例_MQTT 接入(物聯)_消息隊列 MQ-阿裏雲
資源申請__MQTT 接入準備_MQTT 接入(物聯)_消息隊列 MQ-阿裏雲
修改消費位點__數據訂閱_用戶指南_數據傳輸-阿裏雲
檢索數據__從 SQL 到 NoSQL_快速入門_表格存儲-阿裏雲
消息軌跡___常見問題_產品使用問題_消息隊列 MQ-阿裏雲
RAM中可授權的RDS資源類型__如何使用RAM授權_API 參考_雲數據庫 RDS 版-阿裏雲
簽名機製__調用方式_API 參考_雲服務器 ECS-阿裏雲
阿裏雲:量子計算雲平台上線;海康威視、深圳交警戰略合作
短信或郵件報網站後門__產品常見問題_服務器安全(安騎士)-阿裏雲
實例狀態圖__附錄_API 參考_雲服務器 ECS-阿裏雲
相關內容
常見錯誤說明__附錄_大數據計算服務-阿裏雲
發送短信接口__API使用手冊_短信服務-阿裏雲
接口文檔__Android_安全組件教程_移動安全-阿裏雲
運營商錯誤碼(聯通)__常見問題_短信服務-阿裏雲
設置短信模板__使用手冊_短信服務-阿裏雲
OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
消息通知__操作指南_批量計算-阿裏雲
設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲