Оптимизируй мой алгоритм: const xlsx = require('node-xlsx'); const fs = require('fs');…
- User
Оптимизируй мой алгоритм: const xlsx = require('node-xlsx'); const fs = require('fs'); const { isNumber } = require('util'); const sqlite3 = require('sqlite3').verbose(); const cron = require('node-cron');
const db = new sqlite3.Database('schedule.db');
const workSheetsFromBuffer1 = xlsx.parse(fs.readFileSync(
${__dirname}/excels/odd.xlsx)); const workSheetsFromBuffer2 = xlsx.parse(fs.readFileSync(${__dirname}/excels/even.xlsx)); let teachers = [] const arr1 = workSheetsFromBuffer1[1].data const arr2 = workSheetsFromBuffer2[1].data teachers = [...arr1,...arr2]function transformArray(arr,len) { return Array.from({ length: len}, (_, i) => arr[i] !== undefined ? arr[i] : 'null'); } function replaceNextAfterPhysicalCulture(teachers) { teachers.forEach((element,index) => { if (typeof element === 'string') { if (element.indexOf("Физическая культура")!==-1) { teachers[index + 1] = 'зал'; } } }); return teachers } function splitGroupAndSubject(input, cab) { if (typeof input !== 'string') return input; try { const groupRegex = /(\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2})/g; const subjectRegex = /(?:\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2}[\s,])(.*)/;
const groups = input.match(groupRegex) || []; const subjectMatch = input.match(subjectRegex); const subject = subjectMatch ? subjectMatch[1].trim() : ''; const filteredSubject = subject.split(' ') .filter(word => !/\d/.test(word)) .join(' ') .replace(/^-+/, '') .replace(/.*-/, '').trim(); return { groups, subject: filteredSubject.trim(), cab: String(cab) }; } catch (error) { console.log("error", input); }}
function parseteachers() { let parsedIndex = [];
for (let index = 0; index < teachers.length; index++) { let item = teachers[index]; if (!item || item.length === 0) continue; let teacherName = parseTeacherName(item); if (!teacherName) continue; let later = findScheduleType(index); index += 3; let pairs = parsePairs(index); parsedIndex.push({ teacherName, later, pairs }); } parsedIndex.forEach((entry,index) => { let newPairs = [] entry.pairs.forEach((pair, index) => { const result = [pair[0]] for (let index = 1; index < pair.length; index++) { const subject = pair[index]; const cab = pair[index+1];index++; result.push(splitGroupAndSubject(subject, cab)); } newPairs.push(result) }) parsedIndex[index].pairs = newPairs }) return parsedIndex; function parseTeacherName(item) { let firstItem = item[0]; if (typeof firstItem === 'string' && firstItem.includes("Преподаватель")) { return firstItem.replace("Преподаватель - ", "").trim(); } return null; } function findScheduleType(index) { let item = teachers[index]; while (item && item[0] !== 'Нечетная неделя' && item[0] !== 'Четная неделя') { index++; item = teachers[index]; } return item[0] === 'Нечетная неделя' ? 'odd' : 'even'; } function parsePairs(startIndex) { let pairs = []; let emptyCount = 0; let maxPairs = 0; for (let i = startIndex; emptyCount < 2; i++) { let item = teachers[i]; if (!item || item[0] === undefined) { emptyCount++; continue; } emptyCount = 0; if (isNumber(item[0])) { let pair = transformArray(item, 13); pair = replaceNextAfterPhysicalCulture(pair); pairs.push(pair); if (item[0] > maxPairs) maxPairs = item[0]; } } return pairs; }}
const data = parseteachers()
db.serialize(() => { db.run(
DROP TABLE IF EXISTS schedule); db.run(DROP TABLE IF EXISTS groups_schedule); db.run(DROP TABLE IF EXISTS rooms_schedule);db.run(` CREATE TABLE IF NOT EXISTS schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, teacherName TEXT, later TEXT, pairNumber INTEGER, dayOfWeek TEXT, groups TEXT, subject TEXT, cab TEXT ) `); db.run(` CREATE TABLE IF NOT EXISTS groups_schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, groupName TEXT, dayOfWeek TEXT, pairNumber INTEGER, subject TEXT, teacherName TEXT, cab TEXT ) `); db.run(` CREATE TABLE IF NOT EXISTS rooms_schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, cab TEXT, dayOfWeek TEXT, pairNumber INTEGER, subject TEXT, teacherName TEXT, groups TEXT, isFree BOOLEAN DEFAULT 1 ) `); const insertSchedule = db.prepare(` INSERT INTO schedule (teacherName, later, pairNumber, dayOfWeek, groups, subject, cab) VALUES (?, ?, ?, ?, ?, ?, ?) `); const insertGroupSchedule = db.prepare(` INSERT INTO groups_schedule (groupName, dayOfWeek, pairNumber, subject, teacherName, cab) VALUES (?, ?, ?, ?, ?, ?) `); const insertRoomSchedule = db.prepare(` INSERT INTO rooms_schedule (cab, dayOfWeek, pairNumber, subject, teacherName, groups, isFree) VALUES (?, ?, ?, ?, ?, ?, ?) `); const daysOfWeek = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота']; // Заполнение rooms_schedule по умолчанию const allCabinets = new Set(data.flatMap(teacher => teacher.pairs.map(pair => pair[1].cab))); allCabinets.forEach(cab => { daysOfWeek.forEach(day => { for (let i = 1; i <= 6; i++) { if (cab!== "null" || cab === "-") { insertRoomSchedule.run(cab, day, i, "-", "-", "-", true); } } }); }); // Добавление расписания data.forEach(teacher => { teacher.pairs.forEach(pair => { const pairNumber = pair[0]; pair.slice(1).forEach((day, index) => { insertSchedule.run( teacher.teacherName, teacher.later, pairNumber, daysOfWeek[index], day.groups.join(', '), day.subject, day.cab ); day.groups.forEach(group => { insertGroupSchedule.run( group, daysOfWeek[index], pairNumber, day.subject, teacher.teacherName, day.cab ); }); if (day.cab !== "null" && day.cab !== "-") { db.run(` UPDATE rooms_schedule SET isFree = 0, subject = ?, teacherName = ?, groups = ? WHERE cab = ? AND dayOfWeek = ? AND pairNumber = ? `, [day.subject, teacher.teacherName, day.groups.join(', '), day.cab, daysOfWeek[index], pairNumber]); } }); }); }); insertSchedule.finalize(); insertGroupSchedule.finalize(); insertRoomSchedule.finalize();});
db.close();
- Assistant
Оптимизация вашего алгоритма может быть достигнута за счет различных улучшений, включая асинхронную обработку файлов, использование транзакций для операций с базой данных, предварительное компилирование регулярных выражений, а также повышение читаемости и эффективности кода. Ниже представлен оптимизированный вариант вашего скрипта с комментариями, объясняющими внесенные изменения.
Основные улучшения:
-
Асинхронное чтение файлов: Использование асинхронных функций
fs.promisesдля чтения файлов Excel, что позволяет неблокирующим образом обрабатывать данные и улучшать производительность приложения. -
Использование транзакций SQLite: Обертывание операций вставки в транзакции, снижая нагрузку на базу данных и ускоряя процесс записи.
-
Предварительное компилирование регулярных выражений: Компиляция регулярных выражений вне циклов для повышения эффективности.
-
Оптимизация функций обработки данных: Переписывание некоторых функций для повышения их производительности и читаемости.
-
Улучшение структурирования кода: Разделение логики на более мелкие и понятные функции, использование
async/awaitдля лучшего управления асинхронными операциями.
Вот оптимизированный код:
const xlsx = require('node-xlsx'); const fs = require('fs').promises; // Используем промисы для асинхронного чтения файлов const sqlite3 = require('sqlite3').verbose(); const path = require('path'); // Регулярные выражения вынесены вне функции для повышения эффективности const GROUP_REGEX = /(\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2})/g; const SUBJECT_REGEX = /(?:\d{2,3}[- ]?[А-Яа-яA-Za-z]{1,2}[- ]?\d{2}[\s,]*)*(.*)/; // Инициализация базы данных const db = new sqlite3.Database('schedule.db'); async function readExcelFiles() { try { const [oddBuffer, evenBuffer] = await Promise.all([ fs.readFile(path.join(__dirname, 'excels', 'odd.xlsx')), fs.readFile(path.join(__dirname, 'excels', 'even.xlsx')) ]); const workSheetsFromBuffer1 = xlsx.parse(oddBuffer); const workSheetsFromBuffer2 = xlsx.parse(evenBuffer); const arr1 = workSheetsFromBuffer1[1]?.data || []; const arr2 = workSheetsFromBuffer2[1]?.data || []; return [...arr1, ...arr2]; } catch (error) { console.error('Ошибка при чтении Excel файлов:', error); throw error; } } function transformArray(arr, len) { return Array.from({ length: len }, (_, i) => (arr[i] !== undefined ? arr[i] : 'null')); } function replaceNextAfterPhysicalCulture(teachers) { for (let i = 0; i < teachers.length - 1; i++) { const element = teachers[i]; if (typeof element === 'string' && element.includes("Физическая культура")) { teachers[i + 1] = 'зал'; } } return teachers; } function splitGroupAndSubject(input, cab) { if (typeof input !== 'string') return { groups: [], subject: '', cab: String(cab) }; try { const groups = input.match(GROUP_REGEX) || []; const subjectMatch = input.match(SUBJECT_REGEX); let subject = subjectMatch ? subjectMatch[1].trim() : ''; subject = subject .split(' ') .filter(word => !/\d/.test(word)) .join(' ') .replace(/^-+/, '') .replace(/.*-/, '') .trim(); return { groups, subject, cab: String(cab) }; } catch (error) { console.log("Ошибка при разборе:", input); return { groups: [], subject: '', cab: String(cab) }; } } function isNumber(value) { return typeof value === 'number' && !isNaN(value); } function parseTeacherName(item) { const firstItem = item[0]; if (typeof firstItem === 'string' && firstItem.includes("Преподаватель")) { return firstItem.replace("Преподаватель - ", "").trim(); } return null; } function findScheduleType(teachers, startIndex) { for (let i = startIndex; i < teachers.length; i++) { const item = teachers[i]; if (item && item[0] !== undefined) { if (typeof item[0] === 'string') { if (item[0] === 'Нечетная неделя') return 'odd'; if (item[0] === 'Четная неделя') return 'even'; } } } return null; } function parsePairs(teachers, startIndex) { const pairs = []; let emptyCount = 0; for (let i = startIndex; i < teachers.length && emptyCount < 2; i++) { const item = teachers[i]; if (!item || item[0] === undefined) { emptyCount++; continue; } emptyCount = 0; if (isNumber(item[0])) { let pair = transformArray(item, 13); pair = replaceNextAfterPhysicalCulture(pair); pairs.push(pair); } } return pairs; } function parseTeachers(teachers) { const parsedIndex = []; let index = 0; while (index < teachers.length) { const item = teachers[index]; if (!item || item.length === 0) { index++; continue; } const teacherName = parseTeacherName(item); if (!teacherName) { index++; continue; } const scheduleType = findScheduleType(teachers, index + 1); if (!scheduleType) { break; } index = teachers.findIndex( (t, idx) => idx > index && t[0] && (t[0] === 'Нечетная неделя' || t[0] === 'Четная неделя') ); const pairs = parsePairs(teachers, index + 1); parsedIndex.push({ teacherName, later: scheduleType, pairs }); } // Обработка пар для разделения на группы и предметы parsedIndex.forEach(entry => { entry.pairs = entry.pairs.map(pair => { const result = [pair[0]]; // Номер пары for (let i = 1; i < pair.length; i++) { const subject = pair[i]; const cab = pair[i + 1]; i++; // Пропускаем кабину, так как она уже обработана result.push(splitGroupAndSubject(subject, cab)); } return result; }); }); return parsedIndex; } async function setupDatabase() { return new Promise((resolve, reject) => { db.serialize(() => { db.run(`DROP TABLE IF EXISTS schedule`); db.run(`DROP TABLE IF EXISTS groups_schedule`); db.run(`DROP TABLE IF EXISTS rooms_schedule`); db.run(` CREATE TABLE IF NOT EXISTS schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, teacherName TEXT, later TEXT, pairNumber INTEGER, dayOfWeek TEXT, groups TEXT, subject TEXT, cab TEXT ) `); db.run(` CREATE TABLE IF NOT EXISTS groups_schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, groupName TEXT, dayOfWeek TEXT, pairNumber INTEGER, subject TEXT, teacherName TEXT, cab TEXT ) `); db.run(` CREATE TABLE IF NOT EXISTS rooms_schedule ( id INTEGER PRIMARY KEY AUTOINCREMENT, cab TEXT, dayOfWeek TEXT, pairNumber INTEGER, subject TEXT, teacherName TEXT, groups TEXT, isFree BOOLEAN DEFAULT 1 ) `, (err) => { if (err) { reject(err); } else { resolve(); } }); }); }); } async function insertData(data) { const daysOfWeek = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота']; // Получение всех кабинетов const allCabinets = new Set(); data.forEach(teacher => { teacher.pairs.forEach(pair => { pair.slice(1).forEach(day => { if (day.cab && day.cab !== "null" && day.cab !== "-") { allCabinets.add(day.cab); } }); }); }); db.serialize(() => { db.run('BEGIN TRANSACTION'); // Подготовка инструкций для вставки const insertSchedule = db.prepare(` INSERT INTO schedule (teacherName, later, pairNumber, dayOfWeek, groups, subject, cab) VALUES (?, ?, ?, ?, ?, ?, ?) `); const insertGroupSchedule = db.prepare(` INSERT INTO groups_schedule (groupName, dayOfWeek, pairNumber, subject, teacherName, cab) VALUES (?, ?, ?, ?, ?, ?) `); const insertRoomSchedule = db.prepare(` INSERT INTO rooms_schedule (cab, dayOfWeek, pairNumber, subject, teacherName, groups, isFree) VALUES (?, ?, ?, ?, ?, ?, ?) `); // Заполнение rooms_schedule по умолчанию allCabinets.forEach(cab => { daysOfWeek.forEach(day => { for (let i = 1; i <= 6; i++) { insertRoomSchedule.run(cab, day, i, "-", "-", "-", 1); } }); }); // Добавление расписания data.forEach(teacher => { teacher.pairs.forEach(pair => { const pairNumber = pair[0]; pair.slice(1).forEach((day, index) => { if (!day.subject && day.subject !== "") return; // Пропуск пустых записей insertSchedule.run( teacher.teacherName, teacher.later, pairNumber, daysOfWeek[index], day.groups.join(', '), day.subject, day.cab ); day.groups.forEach(group => { insertGroupSchedule.run( group, daysOfWeek[index], pairNumber, day.subject, teacher.teacherName, day.cab ); }); if (day.cab !== "null" && day.cab !== "-") { db.run(` UPDATE rooms_schedule SET isFree = 0, subject = ?, teacherName = ?, groups = ? WHERE cab = ? AND dayOfWeek = ? AND pairNumber = ? `, [day.subject, teacher.teacherName, day.groups.join(', '), day.cab, daysOfWeek[index], pairNumber]); } }); }); }); // Завершение транзакции insertSchedule.finalize(); insertGroupSchedule.finalize(); insertRoomSchedule.finalize(); db.run('COMMIT'); }); } async function main() { try { await setupDatabase(); const teachers = await readExcelFiles(); const data = parseTeachers(teachers); await insertData(data); console.log('Расписание успешно обработано и сохранено в базе данных.'); } catch (error) { console.error('Произошла ошибка:', error); } finally { db.close(); } } main();Подробное объяснение изменений:
-
Асинхронное чтение файлов:
- Заменено
fs.readFileSyncна асинхронноеfs.promises.readFile, что позволяет не блокировать событие цикла Node.js во время чтения файлов. - Использование
Promise.allдля параллельного чтения обоих файлов Excel.
- Заменено
-
Предварительная компиляция регулярных выражений:
- Регулярные выражения
GROUP_REGEXиSUBJECT_REGEXвынесены в начало скрипта, чтобы избежать их повторной компиляции внутри функцииsplitGroupAndSubject.
- Регулярные выражения
-
Оптимизация функции
replaceNextAfterPhysicalCulture:- Заменен
forEachна обычныйforцикл для возможности прерывания и улучшения производительности.
- Заменен
-
Функция
parseTeachers:- Улучшена логика поиска типа недели (четная/нечетная), чтобы избежать лишних итераций.
- Использован
mapдля преобразования пар, что делает код более декларативным и читаемым.
-
Настройка базы данных:
- Все операции по созданию таблиц вынесены в отдельную функцию
setupDatabaseс использованием промисов для лучшего управления потоком выполнения. - Вставка данных в базу данных теперь обернута в транзакцию (
BEGIN TRANSACTIONиCOMMIT), что существенно ускоряет операции вставки при большом объеме данных.
- Все операции по созданию таблиц вынесены в отдельную функцию
-
Вставка данных:
- Использованы подготовленные выражения (
db.prepare) для вставки данных в таблицыscheduleиgroups_schedule. - Заполнение таблицы
rooms_scheduleпроизводится заранее для всех возможных кабинетов и пар. - При обновлении статуса кабинета используется отдельная SQL-команда
UPDATE.
- Использованы подготовленные выражения (
-
Улучшенная обработка ошибок:
- Добавлено более детальное логирование ошибок при чтении файлов и обработке данных.
-
Закрытие базы данных:
- Перенесено закрытие базы данных в
finallyблок внутри функцииmain, чтобы гарантировать её выполнение независимо от исхода операций.
- Перенесено закрытие базы данных в
Дополнительные рекомендации:
-
Использование индексов в базе данных: Если объем данных значительный, рассмотрите возможность добавления индексов в таблицах для ускорения запросов.
-
Логирование и мониторинг: Добавьте более детальное логирование для отслеживания процесса обработки и быстрого выявления ошибок.
-
Валидация данных: Добавьте дополнительные проверки и валидацию данных при разборе Excel-файлов, чтобы избежать некорректных записей в базу данных.
-
Модуляризация кода: Для улучшения поддерживаемости кода, разделите его на несколько модулей по функциональности (например, модули для чтения файлов, обработки данных и работы с базой данных).
-
Тестирование: Реализуйте тесты для ключевых функций, чтобы убедиться в корректности их работы и облегчить внесение изменений в будущем.
Этот оптимизированный скрипт должен работать эффективнее и быть более устойчивым к возможным ошибкам. Однако, всегда рекомендуется протестировать его с вашими конкретными данными и условиями, чтобы убедиться в его работоспособности и эффективности.
-