Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

优化下如下代码,改为200行提交一次 private QueryRunner runner; public void run() { Object[][] args = new…

  1. User

    优化下如下代码,改为200行提交一次

    private QueryRunner runner;

    public void run() { Object[][] args = new Object[preIds.size()][2]; int i = 0; for (Long pre_action_id : preIds) { args[i][0] = pre_action_id; args[i++][1] = sub_id; } try { runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", args); } catch (Exception e) { e.printStackTrace(); System.err.println("fail " + sub_id + " " + preIds.toString()); } }

  2. Assistant

    要优化你的代码以便每提交200行一次,你可以用批处理来分割你的数据。这里是如何实现的:

    private QueryRunner runner;
    
    public void run() {
        int batchSize = 200; // 每个批次的大小
        Object[][] args = new Object[preIds.size()][2];
        int i = 0;
    
        for (Long pre_action_id : preIds) {
            args[i][0] = pre_action_id;
            args[i++][1] = sub_id;
        }
    
        try {
            // 计算应该执行的批处理的数量
            int totalBatches = (int) Math.ceil(preIds.size() / (double) batchSize);
            
            for (int batchNo = 0; batchNo < totalBatches; batchNo++) {
                // 计算每个batch的起始和结束索引
                int start = batchNo * batchSize;
                int end = Math.min(start + batchSize, preIds.size());
    
                // 创建当前batch大小的临时数组
                Object[][] currentBatchArgs = new Object[end - start][2];
    
                // 填充临时数组
                System.arraycopy(args, start, currentBatchArgs, 0, end - start);
    
                // 执行批量插入
                runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", currentBatchArgs);
            }
        } catch (Exception e) {
            e.printStackTrace();
            System.err.println("fail " + sub_id + " " + preIds.toString());
        }
    }
    

    代码说明:

    1. 定义批大小:将批量大小设置为200。

    2. 计算总批次数:使用Math.ceil来决定总批次数,这样可以确保如果有剩下不足200的行,也能顺利插入。

    3. 分批处理数据:循环中使用System.arraycopy方法,以从原始参数数组中复制每个批次的对象到一个新的临时数组中。

    4. 执行批量插入:循环地将每个批次的临时数组传递给runner.batch方法以进行插入操作。

    这种方式可以有效地限制每次插入的行数,防止一次性拷贝超大量数据造成内存问题并提高数据库性能。

  3. User

    每个批次提交后,sleep 100毫秒

  4. Assistant

    为了在批次提交后让程序休眠100毫秒,你可以在每次调用数据库提交后插入一个Thread.sleep(100)。请注意,因为Thread.sleep可能会抛出InterruptedException,所以需要处理这个异常。下面是更新后的代码:

    private QueryRunner runner;
    
    public void run() {
        int batchSize = 200; // 每个批次的大小
        Object[][] args = new Object[preIds.size()][2];
        int i = 0;
    
        for (Long pre_action_id : preIds) {
            args[i][0] = pre_action_id;
            args[i++][1] = sub_id;
        }
    
        try {
            // 计算应该执行的批处理的数量
            int totalBatches = (int) Math.ceil(preIds.size() / (double) batchSize);
            
            for (int batchNo = 0; batchNo < totalBatches; batchNo++) {
                // 计算每个batch的起始和结束索引
                int start = batchNo * batchSize;
                int end = Math.min(start + batchSize, preIds.size());
    
                // 创建当前batch大小的临时数组
                Object[][] currentBatchArgs = new Object[end - start][2];
    
                // 填充临时数组
                System.arraycopy(args, start, currentBatchArgs, 0, end - start);
    
                // 执行批量插入
                runner.batch("insert into " + target_table + "(pre_id,sub_id) values(?,?)", currentBatchArgs);
    
                // 每批次提交后,休眠100毫秒
                try {
                    Thread.sleep(100);
                } catch (InterruptedException e) {
                    // 如果线程被中断,打印异常信息
                    Thread.currentThread().interrupt();  // 恢复中断状态
                    e.printStackTrace();
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
            System.err.println("fail " + sub_id + " " + preIds.toString());
        }
    }
    

    代码说明:

    1. 插入休眠:在每次批量插入后使用Thread.sleep(100),让线程暂停100毫秒。

    2. 处理InterruptedException:使用try-catch语句处理InterruptedException异常,并在捕获到中断时,恢复线程的中断状态。

    这种方式可以在一定程度上减轻对数据库的瞬时压力,尤其是在大量数据提交到同一个数据库实例时。