优化下如下代码,改为200行提交一次 private QueryRunner runner; public void run() { Object[][] args = new…
- User
优化下如下代码,改为200行提交一次
private QueryRunner runner;
public void run() { Object[][] args = new Object[preIds.size()][2]; int i = 0; for (Long pre_action_id : preIds) { args[i][0] = pre_action_id; args[i++][1] = sub_id; } try { runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", args); } catch (Exception e) { e.printStackTrace(); System.err.println("fail " + sub_id + " " + preIds.toString()); } }
- Assistant
要优化你的代码以便每提交200行一次,你可以用批处理来分割你的数据。这里是如何实现的:
private QueryRunner runner; public void run() { int batchSize = 200; // 每个批次的大小 Object[][] args = new Object[preIds.size()][2]; int i = 0; for (Long pre_action_id : preIds) { args[i][0] = pre_action_id; args[i++][1] = sub_id; } try { // 计算应该执行的批处理的数量 int totalBatches = (int) Math.ceil(preIds.size() / (double) batchSize); for (int batchNo = 0; batchNo < totalBatches; batchNo++) { // 计算每个batch的起始和结束索引 int start = batchNo * batchSize; int end = Math.min(start + batchSize, preIds.size()); // 创建当前batch大小的临时数组 Object[][] currentBatchArgs = new Object[end - start][2]; // 填充临时数组 System.arraycopy(args, start, currentBatchArgs, 0, end - start); // 执行批量插入 runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", currentBatchArgs); } } catch (Exception e) { e.printStackTrace(); System.err.println("fail " + sub_id + " " + preIds.toString()); } }代码说明:
-
定义批大小:将批量大小设置为200。
-
计算总批次数:使用
Math.ceil来决定总批次数,这样可以确保如果有剩下不足200的行,也能顺利插入。 -
分批处理数据:循环中使用
System.arraycopy方法,以从原始参数数组中复制每个批次的对象到一个新的临时数组中。 -
执行批量插入:循环地将每个批次的临时数组传递给
runner.batch方法以进行插入操作。
这种方式可以有效地限制每次插入的行数,防止一次性拷贝超大量数据造成内存问题并提高数据库性能。
-
- User
每个批次提交后,sleep 100毫秒
- Assistant
为了在批次提交后让程序休眠100毫秒,你可以在每次调用数据库提交后插入一个
Thread.sleep(100)。请注意,因为Thread.sleep可能会抛出InterruptedException,所以需要处理这个异常。下面是更新后的代码:private QueryRunner runner; public void run() { int batchSize = 200; // 每个批次的大小 Object[][] args = new Object[preIds.size()][2]; int i = 0; for (Long pre_action_id : preIds) { args[i][0] = pre_action_id; args[i++][1] = sub_id; } try { // 计算应该执行的批处理的数量 int totalBatches = (int) Math.ceil(preIds.size() / (double) batchSize); for (int batchNo = 0; batchNo < totalBatches; batchNo++) { // 计算每个batch的起始和结束索引 int start = batchNo * batchSize; int end = Math.min(start + batchSize, preIds.size()); // 创建当前batch大小的临时数组 Object[][] currentBatchArgs = new Object[end - start][2]; // 填充临时数组 System.arraycopy(args, start, currentBatchArgs, 0, end - start); // 执行批量插入 runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", currentBatchArgs); // 每批次提交后,休眠100毫秒 try { Thread.sleep(100); } catch (InterruptedException e) { // 如果线程被中断,打印异常信息 Thread.currentThread().interrupt(); // 恢复中断状态 e.printStackTrace(); } } } catch (Exception e) { e.printStackTrace(); System.err.println("fail " + sub_id + " " + preIds.toString()); } }代码说明:
-
插入休眠:在每次批量插入后使用
Thread.sleep(100),让线程暂停100毫秒。 -
处理
InterruptedException:使用try-catch语句处理InterruptedException异常,并在捕获到中断时,恢复线程的中断状态。
这种方式可以在一定程度上减轻对数据库的瞬时压力,尤其是在大量数据提交到同一个数据库实例时。
-