1043      阿裏雲  技術社區[雲棲]

數據導入和導出__最佳實踐_分布式關係型數據庫 DRDS-阿裏雲

小數據量導入

數據量較小（千萬級別），且不需要增量的一次性數據導入,或者以測試兼容性為目的導入一些數據。推薦直接使用Mysql source或Navicat進行單線程遷移，或者手寫代碼多線程batch將數據寫入DRDS。

單線程導入數據，其劣勢是導入的速度會比較慢，無法發揮分布式數據庫非常高的係統並行度優勢，但實際使用相當方便。例如，使用mysql source命令導入數據：https://www.blogjava.net/hh-lux/archive/2007/05/05/115419.html 或使用navicat進行xxx.sql 或xxx.csv的數據導入

大數據導入

DRDS在數據散列均衡的時候是可以充分發揮下層存儲100%的讀寫能力的，您可以不用擔心。如果希望使用自己的數據進行寫入性能驗證，那麼我們建議您使用batch 方式進行寫入(同時多線程讀取效果更佳)，如用java,可以使用jdbc api中有batch提交sql的接口,代碼如果要實現高效必須在jdbc url中加入參數rewriteBatchedStatements=true（代碼片段使用druid數據源 https://github.com/alibaba/druid ），允許mysql connector將多條insert語句 合並成multi values格式的一條insert語句提交給mysql server執行,並且需要是PrepareStatement執行sql。具體原理分析可以參考: https://www.cnblogs.com/xhan/p/3958521.html

代碼示例:

//連接設置和創建
ds = new DruidDataSource();
ds.setUrl("jdbc:mysql://" + c.getHost() + ":" + c.getPort() + "/" + c.getSchema());
ds.setConnectionProperties("autoReconnect=true;socketTimeout=600000;rewriteBatchedStatements=true");
ds.setDriverClassName("com.mysql.jdbc.Driver");
ds.setUsername(c.getUser());
ds.setPassword(c.getPassword());
ds.setMaxActive(16);
ds.setMaxWait(5000);
ds.init();
//數據導入代碼
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class BatchedInsertDemo {
public static void doBatchedInsert(Connection conn, int batchSize, int insertCount) throws SQLException {
    PreparedStatement ps = conn.prepareStatement("insert into Test (name,gmt_created,gmt_modified) values (?,now(),now())");
    for (int i = 0; i < insertCount; i++) {
        ps.setString(1, i+" ");
        ps.addBatch();
        if((i+1) % batchSize == 0) {
           ps.executeBatch();
        }  
     }
     ps.executeBatch();
     ps.close();   
     }
}