1043      英雄联盟

数据导入和导出__最佳实践_分布式关系型数据库 DRDS-阿里云

小数据量导入

数据量较小（千万级别），且不需要增量的一次性数据导入,或者以测试兼容性为目的导入一些数据。推荐直接使用Mysql source或Navicat进行单线程迁移，或者手写代码多线程batch将数据写入DRDS。

单线程导入数据，其劣势是导入的速度会比较慢，无法发挥分布式数据库非常高的系统并行度优势，但实际使用相当方便。例如，使用mysql source命令导入数据：https://www.blogjava.net/hh-lux/archive/2007/05/05/115419.html 或使用navicat进行xxx.sql 或xxx.csv的数据导入

大数据导入

DRDS在数据散列均衡的时候是可以充分发挥下层存储100%的读写能力的，您可以不用担心。如果希望使用自己的数据进行写入性能验证，那么我们建议您使用batch 方式进行写入(同时多线程读取效果更佳)，如用java,可以使用jdbc api中有batch提交sql的接口,代码如果要实现高效必须在jdbc url中加入参数rewriteBatchedStatements=true（代码片段使用druid数据源 https://github.com/alibaba/druid ），允许mysql connector将多条insert语句 合并成multi values格式的一条insert语句提交给mysql server执行,并且需要是PrepareStatement执行sql。具体原理分析可以参考: https://www.cnblogs.com/xhan/p/3958521.html

代码示例:

//连接设置和创建
ds = new DruidDataSource();
ds.setUrl("jdbc:mysql://" + c.getHost() + ":" + c.getPort() + "/" + c.getSchema());
ds.setConnectionProperties("autoReconnect=true;socketTimeout=600000;rewriteBatchedStatements=true");
ds.setDriverClassName("com.mysql.jdbc.Driver");
ds.setUsername(c.getUser());
ds.setPassword(c.getPassword());
ds.setMaxActive(16);
ds.setMaxWait(5000);
ds.init();
//数据导入代码
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class BatchedInsertDemo {
public static void doBatchedInsert(Connection conn, int batchSize, int insertCount) throws SQLException {
    PreparedStatement ps = conn.prepareStatement("insert into Test (name,gmt_created,gmt_modified) values (?,now(),now())");
    for (int i = 0; i < insertCount; i++) {
        ps.setString(1, i+" ");
        ps.addBatch();
        if((i+1) % batchSize == 0) {
           ps.executeBatch();
        }  
     }
     ps.executeBatch();
     ps.close();   
     }
}