const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
нужно вынести функцию call в отдельный файл Assistant: вынести функцию
callв отдельный файл, вам нужно создать новый файл и экспортировать эту функцию, затем импортировать и использовать её в вашем основном коде. Вот как вы можете это сделать.Шаг 1: Создайте новый файл
Создайте новый файл для функции
call, напримерcall.js, и поместите в него следующий код:const { gpt4o } = require("./API/gpt4o"); // Функция call для обработки исходящих сообщений async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } module.exports = { call };Шаг 2: Импортируйте и используйте функцию в вашем основном файле
Теперь в вашем основном файле (где вы определяли сервер WebSocket) вам нужно импортировать функцию
callиз нового файла:const { call } = require("./call"); // Импортируем функцию callШаг 3: Обновите ваш основной файл
В вашем основном коде замените существующий код определения функции
callна импорт:const { call } = require("./call"); // Импортируйте функцию call // ... остальной код вашего сервера WebSocket ...Теперь функция
callвынесена в отдельный файл, и ваш основной файл стал чище и проще в управлении. Убедитесь, что вы правильно настроили пути для импорта, чтобы они соответствовали структуре папок вашего проекта. User: нужен ли const { gpt4o } = require("./API/gpt4o"); в основном файле Assistant: вы вынесли функциюcallв отдельный файлcall.js, то вам больше не нужно импортироватьgpt4oв основном файле, если он используется только внутри функцииcall. Вместо этого импортируйтеgpt4oнепосредственно в файлеcall.js.Ваш файл
call.jsбудет выглядеть так:const { gpt4o } = require("./API/gpt4o"); // Функция call для обработки исходящих сообщений async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } module.exports = { call };Таким образом, в вашем основном файле импортируйте только
call:const { call } = require("./call"); // Импортируйте функцию call // Остальной код вашего сервера WebSocket...В итоге, в основном файле не будет лишнего кода, и он станет более чистым. User: Error processing callback result: ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:23:21 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21) 0|server | ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:30:17 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21)
Где ошибка у тебя? Assistant:
- Assistant
Ошибка, которую вы получили, возникает из-за того, что функция
sendMessageпытается использовать объектWebSocket, который не был импортирован в файлcall.js. Чтобы исправить это, вам нужно передатьsendMessageв вашу функциюcallиз основного файла или переместить определениеsendMessageв основной файл.Шаг 1: Переместите функцию
sendMessageв основной файлЕсли
sendMessageиспользуется только в одном месте (в функцииcall), вам может быть удобнее просто вызватьsendMessageиз основного файла.Ваш основной файл будет выглядеть следующим образом:
const { call } = require("./call"); // Импортируйте функцию call // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // ... остальной код вашего сервера WebSocket ... // В функции `call` async function call(messages, ws) { // ... ваш существующий код ... // Уберите определение sendMessage и позаботьтесь о передаче ws }Шаг 2: Передайте
sendMessageв функциюcallТеперь вам нужно сделать его доступным внутри вызова
call:const { gpt4o } = require("./API/gpt4o"); async function call(messages, ws, sendMessage) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); } } module.exports = { call };Шаг 3: Обновите вызов функции
callТеперь обновите вызов в основном файле, чтобы передавать
sendMessage:limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws, sendMessage); // Передаем sendMessage здесь }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // sendMessage(ws, response); });Теперь ваша функция
callимеет доступ кsendMessage, и ошибкаWebSocket is not definedдолжна исчезнуть. Это обеспечит правильную отправку ответов обратно клиенту через WebSocket.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.