const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
нужно вынести функцию call в отдельный файл Assistant: вынести функцию
callв отдельный файл, вам нужно создать новый файл и экспортировать эту функцию, затем импортировать и использовать её в вашем основном коде. Вот как вы можете это сделать.Шаг 1: Создайте новый файл
Создайте новый файл для функции
call, напримерcall.js, и поместите в него следующий код:const { gpt4o } = require("./API/gpt4o"); // Функция call для обработки исходящих сообщений async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } module.exports = { call };Шаг 2: Импортируйте и используйте функцию в вашем основном файле
Теперь в вашем основном файле (где вы определяли сервер WebSocket) вам нужно импортировать функцию
callиз нового файла:const { call } = require("./call"); // Импортируем функцию callШаг 3: Обновите ваш основной файл
В вашем основном коде замените существующий код определения функции
callна импорт:const { call } = require("./call"); // Импортируйте функцию call // ... остальной код вашего сервера WebSocket ...Теперь функция
callвынесена в отдельный файл, и ваш основной файл стал чище и проще в управлении. Убедитесь, что вы правильно настроили пути для импорта, чтобы они соответствовали структуре папок вашего проекта. User: нужен ли const { gpt4o } = require("./API/gpt4o"); в основном файле Assistant: вы вынесли функциюcallв отдельный файлcall.js, то вам больше не нужно импортироватьgpt4oв основном файле, если он используется только внутри функцииcall. Вместо этого импортируйтеgpt4oнепосредственно в файлеcall.js.Ваш файл
call.jsбудет выглядеть так:const { gpt4o } = require("./API/gpt4o"); // Функция call для обработки исходящих сообщений async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } module.exports = { call };Таким образом, в вашем основном файле импортируйте только
call:const { call } = require("./call"); // Импортируйте функцию call // Остальной код вашего сервера WebSocket...В итоге, в основном файле не будет лишнего кода, и он станет более чистым. User: Error processing callback result: ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:23:21 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21) 0|server | ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:30:17 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21)
Где ошибка у тебя? Assistant:
- Assistant
Ошибка, с которой вы столкнулись, указывает на то, что
WebSocketне определен в файлеcall.js, где вы пытались использовать функциюsendMessage. Дело в том, чтоsendMessageзависит от объекта WebSocket, который должен быть доступен в контексте, где вы вызываете эту функцию.Чтобы исправить это, просто передавайте объект WebSocket (
ws) как аргумент в вашу функциюsendMessage, а затем убедитесь, чтоsendMessageопределена внутри или экспортирована из модуля, где есть доступ к текущему экземпляруws.Вот исправленный код для вашего
call.jsфайла:const { gpt4o } = require("./API/gpt4o"); // Функция call для обработки исходящих сообщений async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } module.exports = { call };В данном коде, функция
sendMessageостается в пределах текущего файла и использует переданный экземпляр WebSocket (ws), что решает проблему с неопределённостьюWebSocket.Как использовать call в основном файле
Убедитесь, что ваш основной файл правильно передает
wsпри вызове функцииcall. Например:limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); // Передаем ws }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); // Убедитесь, что sendMessage доступен });Теперь в вашем
call.jsкорректно используется объектws, что должно устранить ошибкуReferenceError: WebSocket is not defined.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.