Skip to content
The Chat Archive
o1-mini-2024-09-12· OpenAI WildChat-4.8M (AI2)

Оптимизируй мой алгоритм: const xlsx = require('node-xlsx'); const fs = require('fs');…

  1. User

    Оптимизируй мой алгоритм: const xlsx = require('node-xlsx'); const fs = require('fs'); const { isNumber } = require('util'); const sqlite3 = require('sqlite3').verbose(); const cron = require('node-cron');

    const db = new sqlite3.Database('schedule.db');

    const workSheetsFromBuffer1 = xlsx.parse(fs.readFileSync(${__dirname}/excels/odd.xlsx)); const workSheetsFromBuffer2 = xlsx.parse(fs.readFileSync(${__dirname}/excels/even.xlsx)); let teachers = [] const arr1 = workSheetsFromBuffer1[1].data const arr2 = workSheetsFromBuffer2[1].data teachers = [...arr1,...arr2]

    function transformArray(arr,len) { return Array.from({ length: len}, (_, i) => arr[i] !== undefined ? arr[i] : 'null'); } function replaceNextAfterPhysicalCulture(teachers) { teachers.forEach((element,index) => { if (typeof element === 'string') { if (element.indexOf("Физическая культура")!==-1) { teachers[index + 1] = 'зал'; } } }); return teachers } function splitGroupAndSubject(input, cab) { if (typeof input !== 'string') return input; try { const groupRegex = /(\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2})/g; const subjectRegex = /(?:\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2}[\s,])(.*)/;

        const groups = input.match(groupRegex) || [];
        const subjectMatch = input.match(subjectRegex);
        const subject = subjectMatch ? subjectMatch[1].trim() : '';
    
        const filteredSubject = subject.split(' ')
            .filter(word => !/\d/.test(word))
            .join(' ')
            .replace(/^-+/, '')
            .replace(/.*-/, '').trim();
    
        return { groups, subject: filteredSubject.trim(), cab: String(cab) };
    } catch (error) {
        console.log("error", input);
    }
    

    }

    function parseteachers() { let parsedIndex = [];

    for (let index = 0; index < teachers.length; index++) {
        let item = teachers[index];
        if (!item || item.length === 0) continue;
    
        let teacherName = parseTeacherName(item);
        if (!teacherName) continue;
    
        let later = findScheduleType(index);
        index += 3;
    
        let pairs = parsePairs(index);
        parsedIndex.push({ teacherName, later, pairs });
    }
    
    parsedIndex.forEach((entry,index) => {
        let newPairs = []
        entry.pairs.forEach((pair, index) => {
            const result = [pair[0]]
    
            for (let index = 1; index < pair.length; index++) {
                const subject = pair[index];
                const cab = pair[index+1];index++;
                result.push(splitGroupAndSubject(subject, cab));
            }
            
            newPairs.push(result)
        })
        parsedIndex[index].pairs = newPairs
    })
    
    return parsedIndex;
    
    function parseTeacherName(item) {
        let firstItem = item[0];
        if (typeof firstItem === 'string' && firstItem.includes("Преподаватель")) {
            return firstItem.replace("Преподаватель - ", "").trim();
        }
        return null;
    }
    
    function findScheduleType(index) {
        let item = teachers[index];
        while (item && item[0] !== 'Нечетная неделя' && item[0] !== 'Четная неделя') {
            index++;
            item = teachers[index];
        }
        return item[0] === 'Нечетная неделя' ? 'odd' : 'even';
    }
    
    function parsePairs(startIndex) {
        let pairs = [];
        let emptyCount = 0;
        let maxPairs = 0;
    
        for (let i = startIndex; emptyCount < 2; i++) {
            let item = teachers[i];
            if (!item || item[0] === undefined) {
                emptyCount++;
                continue;
            }
    
            emptyCount = 0;
            if (isNumber(item[0])) {
                let pair = transformArray(item, 13);
                pair = replaceNextAfterPhysicalCulture(pair);
                pairs.push(pair);
    
                if (item[0] > maxPairs) maxPairs = item[0];
            }
        }
    
        return pairs;
    }
    

    }

    const data = parseteachers()

    db.serialize(() => { db.run(DROP TABLE IF EXISTS schedule); db.run(DROP TABLE IF EXISTS groups_schedule); db.run(DROP TABLE IF EXISTS rooms_schedule);

    db.run(`
      CREATE TABLE IF NOT EXISTS schedule (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        teacherName TEXT,
        later TEXT,
        pairNumber INTEGER,
        dayOfWeek TEXT,
        groups TEXT,
        subject TEXT,
        cab TEXT
      )
    `);
    
    db.run(`
      CREATE TABLE IF NOT EXISTS groups_schedule (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        groupName TEXT,
        dayOfWeek TEXT,
        pairNumber INTEGER,
        subject TEXT,
        teacherName TEXT,
        cab TEXT
      )
    `);
    
    db.run(`
      CREATE TABLE IF NOT EXISTS rooms_schedule (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        cab TEXT,
        dayOfWeek TEXT,
        pairNumber INTEGER,
        subject TEXT,
        teacherName TEXT,
        groups TEXT,
        isFree BOOLEAN DEFAULT 1
      )
    `);
    
    const insertSchedule = db.prepare(`
      INSERT INTO schedule (teacherName, later, pairNumber, dayOfWeek, groups, subject, cab) 
      VALUES (?, ?, ?, ?, ?, ?, ?)
    `);
    
    const insertGroupSchedule = db.prepare(`
      INSERT INTO groups_schedule (groupName, dayOfWeek, pairNumber, subject, teacherName, cab) 
      VALUES (?, ?, ?, ?, ?, ?)
    `);
    
    const insertRoomSchedule = db.prepare(`
      INSERT INTO rooms_schedule (cab, dayOfWeek, pairNumber, subject, teacherName, groups, isFree)
      VALUES (?, ?, ?, ?, ?, ?, ?)
    `);
    
    const daysOfWeek = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота'];
    
    // Заполнение rooms_schedule по умолчанию
    const allCabinets = new Set(data.flatMap(teacher => teacher.pairs.map(pair => pair[1].cab)));
    allCabinets.forEach(cab => {
      daysOfWeek.forEach(day => {
        for (let i = 1; i <= 6; i++) {
          if (cab!== "null" || cab === "-") {
            insertRoomSchedule.run(cab, day, i, "-", "-", "-", true);
          }
        }
      });
    });
    
    // Добавление расписания
    data.forEach(teacher => {
      teacher.pairs.forEach(pair => {
        const pairNumber = pair[0];
        pair.slice(1).forEach((day, index) => {
          insertSchedule.run(
            teacher.teacherName,
            teacher.later,
            pairNumber,
            daysOfWeek[index],
            day.groups.join(', '),
            day.subject,
            day.cab
          );
    
          day.groups.forEach(group => {
            insertGroupSchedule.run(
              group,
              daysOfWeek[index],
              pairNumber,
              day.subject,
              teacher.teacherName,
              day.cab
            );
          });
    
          if (day.cab !== "null" && day.cab !== "-") {
            db.run(`
              UPDATE rooms_schedule 
              SET isFree = 0, subject = ?, teacherName = ?, groups = ? 
              WHERE cab = ? AND dayOfWeek = ? AND pairNumber = ?
            `, [day.subject, teacher.teacherName, day.groups.join(', '), day.cab, daysOfWeek[index], pairNumber]);
          }
        });
      });
    });
    
    insertSchedule.finalize();
    insertGroupSchedule.finalize();
    insertRoomSchedule.finalize();
    

    });

    db.close();

  2. Assistant

    Оптимизация вашего алгоритма может быть достигнута за счет различных улучшений, включая асинхронную обработку файлов, использование транзакций для операций с базой данных, предварительное компилирование регулярных выражений, а также повышение читаемости и эффективности кода. Ниже представлен оптимизированный вариант вашего скрипта с комментариями, объясняющими внесенные изменения.

    Основные улучшения:

    1. Асинхронное чтение файлов: Использование асинхронных функций fs.promises для чтения файлов Excel, что позволяет неблокирующим образом обрабатывать данные и улучшать производительность приложения.

    2. Использование транзакций SQLite: Обертывание операций вставки в транзакции, снижая нагрузку на базу данных и ускоряя процесс записи.

    3. Предварительное компилирование регулярных выражений: Компиляция регулярных выражений вне циклов для повышения эффективности.

    4. Оптимизация функций обработки данных: Переписывание некоторых функций для повышения их производительности и читаемости.

    5. Улучшение структурирования кода: Разделение логики на более мелкие и понятные функции, использование async/await для лучшего управления асинхронными операциями.

    Вот оптимизированный код:

    const xlsx = require('node-xlsx');
    const fs = require('fs').promises; // Используем промисы для асинхронного чтения файлов
    const sqlite3 = require('sqlite3').verbose();
    const path = require('path');
    
    // Регулярные выражения вынесены вне функции для повышения эффективности
    const GROUP_REGEX = /(\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2})/g;
    const SUBJECT_REGEX = /(?:\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2}[\s,]*)*(.*)/;
    
    // Инициализация базы данных
    const db = new sqlite3.Database('schedule.db');
    
    async function readExcelFiles() {
        try {
            const [oddBuffer, evenBuffer] = await Promise.all([
                fs.readFile(path.join(__dirname, 'excels', 'odd.xlsx')),
                fs.readFile(path.join(__dirname, 'excels', 'even.xlsx'))
            ]);
    
            const workSheetsFromBuffer1 = xlsx.parse(oddBuffer);
            const workSheetsFromBuffer2 = xlsx.parse(evenBuffer);
    
            const arr1 = workSheetsFromBuffer1[1]?.data || [];
            const arr2 = workSheetsFromBuffer2[1]?.data || [];
    
            return [...arr1, ...arr2];
        } catch (error) {
            console.error('Ошибка при чтении Excel файлов:', error);
            throw error;
        }
    }
    
    function transformArray(arr, len) {
        return Array.from({ length: len }, (_, i) => (arr[i] !== undefined ? arr[i] : 'null'));
    }
    
    function replaceNextAfterPhysicalCulture(teachers) {
        for (let i = 0; i < teachers.length - 1; i++) {
            const element = teachers[i];
            if (typeof element === 'string' && element.includes("Физическая культура")) {
                teachers[i + 1] = 'зал';
            }
        }
        return teachers;
    }
    
    function splitGroupAndSubject(input, cab) {
        if (typeof input !== 'string') return { groups: [], subject: '', cab: String(cab) };
        try {
            const groups = input.match(GROUP_REGEX) || [];
            const subjectMatch = input.match(SUBJECT_REGEX);
            let subject = subjectMatch ? subjectMatch[1].trim() : '';
    
            subject = subject
                .split(' ')
                .filter(word => !/\d/.test(word))
                .join(' ')
                .replace(/^-+/, '')
                .replace(/.*-/, '')
                .trim();
    
            return { groups, subject, cab: String(cab) };
        } catch (error) {
            console.log("Ошибка при разборе:", input);
            return { groups: [], subject: '', cab: String(cab) };
        }
    }
    
    function isNumber(value) {
        return typeof value === 'number' && !isNaN(value);
    }
    
    function parseTeacherName(item) {
        const firstItem = item[0];
        if (typeof firstItem === 'string' && firstItem.includes("Преподаватель")) {
            return firstItem.replace("Преподаватель - ", "").trim();
        }
        return null;
    }
    
    function findScheduleType(teachers, startIndex) {
        for (let i = startIndex; i < teachers.length; i++) {
            const item = teachers[i];
            if (item && item[0] !== undefined) {
                if (typeof item[0] === 'string') {
                    if (item[0] === 'Нечетная неделя') return 'odd';
                    if (item[0] === 'Четная неделя') return 'even';
                }
            }
        }
        return null;
    }
    
    function parsePairs(teachers, startIndex) {
        const pairs = [];
        let emptyCount = 0;
    
        for (let i = startIndex; i < teachers.length && emptyCount < 2; i++) {
            const item = teachers[i];
            if (!item || item[0] === undefined) {
                emptyCount++;
                continue;
            }
    
            emptyCount = 0;
            if (isNumber(item[0])) {
                let pair = transformArray(item, 13);
                pair = replaceNextAfterPhysicalCulture(pair);
                pairs.push(pair);
            }
        }
    
        return pairs;
    }
    
    function parseTeachers(teachers) {
        const parsedIndex = [];
        let index = 0;
    
        while (index < teachers.length) {
            const item = teachers[index];
            if (!item || item.length === 0) {
                index++;
                continue;
            }
    
            const teacherName = parseTeacherName(item);
            if (!teacherName) {
                index++;
                continue;
            }
    
            const scheduleType = findScheduleType(teachers, index + 1);
            if (!scheduleType) {
                break;
            }
    
            index = teachers.findIndex(
                (t, idx) => idx > index && t[0] && (t[0] === 'Нечетная неделя' || t[0] === 'Четная неделя')
            );
    
            const pairs = parsePairs(teachers, index + 1);
            parsedIndex.push({ teacherName, later: scheduleType, pairs });
        }
    
        // Обработка пар для разделения на группы и предметы
        parsedIndex.forEach(entry => {
            entry.pairs = entry.pairs.map(pair => {
                const result = [pair[0]]; // Номер пары
                for (let i = 1; i < pair.length; i++) {
                    const subject = pair[i];
                    const cab = pair[i + 1];
                    i++; // Пропускаем кабину, так как она уже обработана
                    result.push(splitGroupAndSubject(subject, cab));
                }
                return result;
            });
        });
    
        return parsedIndex;
    }
    
    async function setupDatabase() {
        return new Promise((resolve, reject) => {
            db.serialize(() => {
                db.run(`DROP TABLE IF EXISTS schedule`);
                db.run(`DROP TABLE IF EXISTS groups_schedule`);
                db.run(`DROP TABLE IF EXISTS rooms_schedule`);
    
                db.run(`
                    CREATE TABLE IF NOT EXISTS schedule (
                        id INTEGER PRIMARY KEY AUTOINCREMENT,
                        teacherName TEXT,
                        later TEXT,
                        pairNumber INTEGER,
                        dayOfWeek TEXT,
                        groups TEXT,
                        subject TEXT,
                        cab TEXT
                    )
                `);
    
                db.run(`
                    CREATE TABLE IF NOT EXISTS groups_schedule (
                        id INTEGER PRIMARY KEY AUTOINCREMENT,
                        groupName TEXT,
                        dayOfWeek TEXT,
                        pairNumber INTEGER,
                        subject TEXT,
                        teacherName TEXT,
                        cab TEXT
                    )
                `);
    
                db.run(`
                    CREATE TABLE IF NOT EXISTS rooms_schedule (
                        id INTEGER PRIMARY KEY AUTOINCREMENT,
                        cab TEXT,
                        dayOfWeek TEXT,
                        pairNumber INTEGER,
                        subject TEXT,
                        teacherName TEXT,
                        groups TEXT,
                        isFree BOOLEAN DEFAULT 1
                    )
                `, (err) => {
                    if (err) {
                        reject(err);
                    } else {
                        resolve();
                    }
                });
            });
        });
    }
    
    async function insertData(data) {
        const daysOfWeek = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота'];
    
        // Получение всех кабинетов
        const allCabinets = new Set();
        data.forEach(teacher => {
            teacher.pairs.forEach(pair => {
                pair.slice(1).forEach(day => {
                    if (day.cab && day.cab !== "null" && day.cab !== "-") {
                        allCabinets.add(day.cab);
                    }
                });
            });
        });
    
        db.serialize(() => {
            db.run('BEGIN TRANSACTION');
    
            // Подготовка инструкций для вставки
            const insertSchedule = db.prepare(`
                INSERT INTO schedule (teacherName, later, pairNumber, dayOfWeek, groups, subject, cab) 
                VALUES (?, ?, ?, ?, ?, ?, ?)
            `);
    
            const insertGroupSchedule = db.prepare(`
                INSERT INTO groups_schedule (groupName, dayOfWeek, pairNumber, subject, teacherName, cab) 
                VALUES (?, ?, ?, ?, ?, ?)
            `);
    
            const insertRoomSchedule = db.prepare(`
                INSERT INTO rooms_schedule (cab, dayOfWeek, pairNumber, subject, teacherName, groups, isFree)
                VALUES (?, ?, ?, ?, ?, ?, ?)
            `);
    
            // Заполнение rooms_schedule по умолчанию
            allCabinets.forEach(cab => {
                daysOfWeek.forEach(day => {
                    for (let i = 1; i <= 6; i++) {
                        insertRoomSchedule.run(cab, day, i, "-", "-", "-", 1);
                    }
                });
            });
    
            // Добавление расписания
            data.forEach(teacher => {
                teacher.pairs.forEach(pair => {
                    const pairNumber = pair[0];
                    pair.slice(1).forEach((day, index) => {
                        if (!day.subject && day.subject !== "") return; // Пропуск пустых записей
    
                        insertSchedule.run(
                            teacher.teacherName,
                            teacher.later,
                            pairNumber,
                            daysOfWeek[index],
                            day.groups.join(', '),
                            day.subject,
                            day.cab
                        );
    
                        day.groups.forEach(group => {
                            insertGroupSchedule.run(
                                group,
                                daysOfWeek[index],
                                pairNumber,
                                day.subject,
                                teacher.teacherName,
                                day.cab
                            );
                        });
    
                        if (day.cab !== "null" && day.cab !== "-") {
                            db.run(`
                                UPDATE rooms_schedule 
                                SET isFree = 0, subject = ?, teacherName = ?, groups = ? 
                                WHERE cab = ? AND dayOfWeek = ? AND pairNumber = ?
                            `, [day.subject, teacher.teacherName, day.groups.join(', '), day.cab, daysOfWeek[index], pairNumber]);
                        }
                    });
                });
            });
    
            // Завершение транзакции
            insertSchedule.finalize();
            insertGroupSchedule.finalize();
            insertRoomSchedule.finalize();
    
            db.run('COMMIT');
        });
    }
    
    async function main() {
        try {
            await setupDatabase();
            const teachers = await readExcelFiles();
            const data = parseTeachers(teachers);
            await insertData(data);
            console.log('Расписание успешно обработано и сохранено в базе данных.');
        } catch (error) {
            console.error('Произошла ошибка:', error);
        } finally {
            db.close();
        }
    }
    
    main();
    

    Подробное объяснение изменений:

    1. Асинхронное чтение файлов:

      • Заменено fs.readFileSync на асинхронное fs.promises.readFile, что позволяет не блокировать событие цикла Node.js во время чтения файлов.
      • Использование Promise.all для параллельного чтения обоих файлов Excel.
    2. Предварительная компиляция регулярных выражений:

      • Регулярные выражения GROUP_REGEX и SUBJECT_REGEX вынесены в начало скрипта, чтобы избежать их повторной компиляции внутри функции splitGroupAndSubject.
    3. Оптимизация функции replaceNextAfterPhysicalCulture:

      • Заменен forEach на обычный for цикл для возможности прерывания и улучшения производительности.
    4. Функция parseTeachers:

      • Улучшена логика поиска типа недели (четная/нечетная), чтобы избежать лишних итераций.
      • Использован map для преобразования пар, что делает код более декларативным и читаемым.
    5. Настройка базы данных:

      • Все операции по созданию таблиц вынесены в отдельную функцию setupDatabase с использованием промисов для лучшего управления потоком выполнения.
      • Вставка данных в базу данных теперь обернута в транзакцию (BEGIN TRANSACTION и COMMIT), что существенно ускоряет операции вставки при большом объеме данных.
    6. Вставка данных:

      • Использованы подготовленные выражения (db.prepare) для вставки данных в таблицы schedule и groups_schedule.
      • Заполнение таблицы rooms_schedule производится заранее для всех возможных кабинетов и пар.
      • При обновлении статуса кабинета используется отдельная SQL-команда UPDATE.
    7. Улучшенная обработка ошибок:

      • Добавлено более детальное логирование ошибок при чтении файлов и обработке данных.
    8. Закрытие базы данных:

      • Перенесено закрытие базы данных в finally блок внутри функции main, чтобы гарантировать её выполнение независимо от исхода операций.

    Дополнительные рекомендации:

    • Использование индексов в базе данных: Если объем данных значительный, рассмотрите возможность добавления индексов в таблицах для ускорения запросов.

    • Логирование и мониторинг: Добавьте более детальное логирование для отслеживания процесса обработки и быстрого выявления ошибок.

    • Валидация данных: Добавьте дополнительные проверки и валидацию данных при разборе Excel-файлов, чтобы избежать некорректных записей в базу данных.

    • Модуляризация кода: Для улучшения поддерживаемости кода, разделите его на несколько модулей по функциональности (например, модули для чтения файлов, обработки данных и работы с базой данных).

    • Тестирование: Реализуйте тесты для ключевых функций, чтобы убедиться в корректности их работы и облегчить внесение изменений в будущем.

    Этот оптимизированный скрипт должен работать эффективнее и быть более устойчивым к возможным ошибкам. Однако, всегда рекомендуется протестировать его с вашими конкретными данными и условиями, чтобы убедиться в его работоспособности и эффективности.