const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini");
const WebSocket = require('ws');
const Bottleneck = require('bottleneck');
// Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {};
const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL console.log('Client connected with user ID:', userId);
// Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', userMessage); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: userMessage, markdown: false }, (result) => { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } }}
console.log('WebSocket сервер запущен через порт 3000');
Оцени код Assistant: од представляет собой WebSocket-сервер, который управляет подключениями клиентов и упрощает взаимодействие с различными API (в частности, для генерации текста с использованием модели GPT). Он использует библиотеку Bottleneck для ограничения скорости запросов. Вот несколько аспектов, которые можно оценить и предложить улучшения:
Позитивные моменты
-
Структура кода: Код организован логически, функции и переменные имеют описательные названия, что делает его достаточно читаемым.
-
Управление клиентами: Используется объект
clientActionsдля хранения состояния каждого клиента, что позволяет отслеживать подключения и их действия. -
Ограничение частоты запросов: Библиотека Bottleneck помогает предотвратить превышение лимитов запросов, что полезно для избежания перегрузки API.
-
Обработка ошибок: Код включает обработку ошибок, что позволяет вернуть понятные сообщения клиентам в случае сбоя.
-
Закрытие соединения: При закрытии соединения корректно обновляется состояние клиента и освобождаются связанные с ним ресурсы.
Недостатки и возможности для улучшения
-
Производительность: Использование
minTime: 1000может быть излишним в некоторых случаях, особенно если вы ожидаете много клиентов. Возможно, стоит рассмотреть более гибкие настройки или адаптивное ограничение. -
Отсутствует обработка исключений в callback: В функции
callобработка результата API происходит через callback, и если произойдет ошибка, она не будет поймана. Используйте try-catch внутри callback для полной обработки ошибок. -
Документация и комментарии: Хотя код достаточно читаем, еще несколько комментариев о том, как работают разные части кода, могут ещё больше улучшить понимание.
-
Использование WebSocket API: Рассмотрите использование методов
ws.on('error', ...)для обработки ошибок WebSocket-соединения, что может помочь отлавливать проблемы связи. -
Масштабируемость и безопасность: Если планируется большой объем данных, можно рассмотреть использование Redis для хранения состояний пользователей и балансировки нагрузки на серверах для масштабируемости.
-
Форматирование кода: Убедитесь, что код отформатирован и следует определенным стандартам, чтобы улучшить читаемость (например, использование eslint или prettier).
-
Обработка ключа API и конфиденциальной информации: Обратите внимание на безопасность в работе с API-ключами и конфиденциальной информацией, особенно в продакшн-коде.
Заключение
В целом, код демонстрирует хорошее понимание работы с WebSocket и взаимодействию с API. На данном этапе реализации присутствует несколько областей для улучшения, но в целом он эффективно выполняет свою задачу. User: Отсутствует обработка исключений в callback: В функции call обработка результата API происходит через callback, и если произойдет ошибка, она не будет поймана. Используйте try-catch внутри callback для полной обработки ошибок.
покажи Assistant: как вы можете улучшить обработку ошибок в функции
call, добавляя обработку исключений внутри callback функции, которая вызывается после завершения запроса API. Мы можем обернуть код внутриgpt4oвtry-catchблок, чтобы отлавливать возможные исключения.Вот пример того, как это можно сделать:
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', userMessage); // Вызов API с использованием gpt4o gpt4o({ messages: userMessage, markdown: false }, (result) => { try { // Проверка результата API if (!result.finish) { fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка при обработке результата. Попробуйте снова." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } }Что изменилось:
-
Добавлен
try-catchвнутри callback функции: Теперь, если в процессе обработки результатаgpt4oпроизойдет ошибка, она будет отловлена, и можно будет отправить клиенту сообщение об ошибке, сохраняя при этом стабильность работы всего сервиса. -
Логирование ошибок: В случае возникновения ошибки выводимся на консоль, что упрощает отладку.
Такое изменение сделает вашу функцию более надежной и сможет обрабатывать ошибки, которые могут возникать в процессе выполнения. User: Но вель call уже начинается с try, который и ловит все ошибки Assistant: правы, что функция
callуже содержит блокtry-catch, который ловит ошибки, происходящие в самом запросе. Однако, как вы заметили, обработка результата API через callback не защищена от возможных ошибок. Если ошибка возникает внутри callback, она не будет поймана основным блокомtry-catch, поэтому необходимо добавить дополнительный блокtry-catchвнутри callback.Таким образом, если возникает ошибка в обработке ответа от
gpt4o, она будет отловлена и обработана корректно. Давайте рассмотрим это на примере:- Основной блок try-catch: Ловит ошибки, связанные с вызовом API и другими потенциальными ошибками.
- Вложенный блок try-catch внутри callback: Ловит ошибки, происходящие во время обработки результатов API.
Вот обновлённая версия кода:
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', userMessage); // Вызов API с использованием gpt4o gpt4o({ messages: userMessage, markdown: false }, (result) => { try { // Проверка результата API if (!result.finish) { fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); // Отправка ответа клиенту if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка при обработке результата. Попробуйте снова." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } }Почему это важно:
- Надежность: Обработка ошибок в callback позволяет улучшить общую надежность кода, так как исключения, которые могут произойти при обработке результата, не нарушат работу всей функции.
- Информативность для клиента: В случае ошибки пользователь получит более точное сообщение о том, что произошло, что улучшает взаимодействие.
Ваше замечание о том, что существующий блок
try-catchловит ошибки, также верно, и в большинстве случаев это может быть достаточно. Однако добавление вложенногоtry-catchповышает устойчивость кода в ситуациях, которые могут возникнуть при работе с асинхронными callback-функциями. User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini");const WebSocket = require('ws');
const Bottleneck = require('bottleneck');
const { RateLimiterMemory } = require('rate-limiter-flexible');
// Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Настройки для ограничений по IP const rateLimiter = new RateLimiterMemory({ points: 20, // разрешается 10 запросов duration: 1, // за 1 секунду blockDuration: 60 // время блокировки в секундах });
const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', userMessage); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: userMessage, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(response)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } }}
console.log('WebSocket сервер запущен через порт 3000');
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
Проанализируй код Assistant: код представляет собой WebSocket-сервер на Node.js, который управляет подключением клиентов, обрабатывает сообщения и взаимодействует с различными API (включая GPT и DALL·E). Давайте проанализируем его с точки зрения структуры, функциональности, обработки ошибок, безопасности и других аспектов.
Позитивные моменты
-
Четкая структура кода: Код организован в логические блоки, что делает его более читаемым и понятным.
-
Обработка клиентов: Вы используете объект
clientActionsдля отслеживания состояния каждого клиента. Это позволяет вам управлять подключениями и взаимодействиями в реальном времени. -
Ограничение скорости: Использование библиотеки
bottleneckиrate-limiter-flexibleдля управления количеством запросов от каждого клиента (по IP или по userId) помогает избежать перегрузки сервера и API. -
Процесс обработки сообщений: Сервер принимает сообщения от клиентов, разбирает их и обрабатывает, отправляя ответ обратно. Включение проверки на Origin помогает защитить сервер от несанкционированных запросов.
-
Обработка ошибок: Код включает механизмы для обработки возможных ошибок, что улучшает надежность работы. Сообщения об ошибках отправляются обратно клиенту.
-
Асимметричное управление потоками: Использование
maxConcurrentвBottleneckпомогает контролировать количество одновременно обрабатываемых запросов.
Возможности для улучшения
-
Безопасность:
- Проверка Origin: Хотя вы реализовали проверку домена, следует удостовериться, что этот механизм также защищен от подделки (например, в случае, если существует возможность выполнения скриптов в браузере). Вы можете использовать более продвинутые методы проверки или даже списки разрешенных доменов.
- Логирование и мониторинг: Рассмотрение внедрения системы логирования для анализа действий пользователей и мониторинга работоспособности сервера. Это поможет выявлять проблемы и аномалии в работе.
-
Функциональность:
- Оптимизация работы с запросами: Можно рассмотреть возможность кеширования ответов для повторяющихся запросов. Это снизит нагрузку на сервер и повысит производительность.
- Обработка состояния подключений клиентов: Статус подключения клиента можно расширить, добавив больше атрибутов (например, последнее сообщение, тайм-ауты и др.).
-
Обработка ошибок:
- Обработка ошибок в callback уже реализована, однако рассмотрите возможность добавления более детализированной информации в случае возникновения ошибок в API, чтобы вы могли более точно определять причины неисправностей.
- Добавление логов для всех ошибок (не только их сообщение) может помочь в отладке.
-
Тестирование:
- Реализация тестов (например, с использованием
Mocha,ChaiилиJest) поможет вам убедиться, что код работает как ожидается и что новые изменения не ломают существующий функционал.
- Реализация тестов (например, с использованием
-
Форматирование и стиль кода:
- Убедитесь, что весь код следует единому стилю форматирования (например, с помощью
PrettierилиESLint). Это улучшит читаемость кода и облегчит его сопровождение.
- Убедитесь, что весь код следует единому стилю форматирования (например, с помощью
-
Отправка сообщений:
- Проверка
ws.readyState === WebSocket.OPENдля каждого отправляемого сообщения может быть обобщена в функции отправки сообщений для уменьшения повторяющегося кода.
- Проверка
Заключение
Ваш код имеет много положительных моментов и демонстрирует уверенное понимание работы с WebSocket и концепциями управления запросами. Он справляется со своей задачей и является надежным. Тем не менее, с точки зрения безопасности и функциональности, вы можете рассмотреть указанные рекомендации для улучшения производительности, безопасности и читабельности. User: Отправка сообщений:
Проверка ws.readyState === WebSocket.OPEN для каждого отправляемого сообщения может быть обобщена в функции отправки сообщений для уменьшения повторяющегося кода.
Напиши такую функцию Assistant: создать функцию для отправки сообщений через WebSocket с проверкой состояния подключения, мы можем определить вспомогательную функцию
sendMessage, которая проверяет состояниеws.readyState, и только затем отправляет сообщение. Вот как это можно сделать:function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } }Теперь вы можете использовать эту функцию
sendMessageвместо прямого вызоваws.sendв вашем коде. Вот пример использования этой функции в контексте вашего кода:Обновленная часть кода
Измените части кода, где вы отправляете сообщения:
// Замена блока отправки ответа клиенту внутри функции call if (!result.finish) { fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); sendMessage(ws, response); // Используем новую функцию } // В обработчике ошибок let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); // Используем новую функцию // Аналогично в других частях кодаПример использования функции в процессе обработки сообщений
Также обновите код в обработке сообщений, чтобы использовать
sendMessage:try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; sendMessage(ws, response); // Используем новую функцию }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; sendMessage(ws, response); // Используем новую функцию }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); // Используем новую функцию }Преимущества
-
Снижение дублирования кода: Теперь проверка состояния соединения и отправка сообщения осуществляется в одном месте, что делает код более чистым и удобным для поддержки.
-
Удобство использования: Функция
sendMessageможет быть дополнительно расширена в будущем, если вам потребуется, например, логирование отправленных сообщений или дополнительная обработка ошибок.
Таким образом, вы улучшите структуру своего кода и сделаете его более устойчивым к изменениям. User: Так?
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini");
const WebSocket = require('ws');
const Bottleneck = require('bottleneck');
const { RateLimiterMemory } = require('rate-limiter-flexible');
// Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Настройки для ограничений по IP const rateLimiter = new RateLimiterMemory({ points: 20, // разрешается 10 запросов duration: 1, // за 1 секунду blockDuration: 60 // время блокировки в секундах });
const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', userMessage); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: userMessage, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
console.log('WebSocket сервер запущен через порт 3000');
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } } Assistant: код выглядит хорошо структурированным и теперь включает функциюsendMessage, которая упрощает процесс отправки сообщений через WebSocket, проверяя состояние соединения. Это сокращает дублирование кода и улучшает читабельность.Вот несколько дополнительных замечаний, которые помогут улучшить код:
Общие комментарии
-
Экспорт API: Если ваш сервер будет разрастаться, может иметь смысл разделить код на разные модули и экспортировать функции или классы для лучшего управления зависимостями и тестируемости.
-
Логирование: В вашем коде логирование ошибок в консоли хорошо выполнено, но стоит рассмотреть использование библиотеки для логирования (например,
winstonилиmorgan) для более гибкой настройки логирования (уровни логов, вывод в файлы и т. д.). -
Безопасность:
- Проверка на Origin: Вы уже реализовали проверку домена, но подумайте о том, чтобы расширить её до использования списка разрешенных доменов, если пользователей может быть много.
- Управление сессиями: Возможно, стоит это сделать более безопасным (например, использовать JWT для проверки подлинности).
-
Скорость и производительность:
- Если ваши API-ключи имеют ограничения по скорости, стоит также рассмотреть кэширование результатов, чтобы снизить нагрузку при повторных запросах.
- Использование методов, таких как
Promise.all, для параллельных запросов к API, если это уместно в вашем случае.
-
Обработка ошибок: Можно рассмотреть внедрение более сложной системы обработки ошибок, которая не только бы обрабатывала ошибки запроса, но и могла бы возвращать более информативные сообщения об ошибках клиенту.
Пример использования функции
sendMessageВаш код выглядит правильным и функциональным, и вот как вы можете использовать
sendMessageв различных местах, как это уже сделано:// Место, где вы отправляете ответ от API sendMessage(ws, response); // Ответ от `gpt4o`Итог
Ваш код работает правильно, и использование функции
sendMessageулучшает структуру кода, делая его более чистым и поддерживаемым. Вы можете продолжать улучшать его, добавляя больше функций, обработки ошибок и других улучшений, как описано выше. В целом, ваша реализация WebSocket-сервера выглядит хорошо выполненной, и с минимальными корректировками она может быть еще более мощной и стабильной. User: Логирование: В вашем коде логирование ошибок в консоли хорошо выполнено, но стоит рассмотреть использование библиотеки для логирования (например, winston или morgan) для более гибкой настройки логирования (уровни логов, вывод в файлы и т. д.).Как использовать winston, приведи пример Assistant: Winston` — это популярная библиотека для логирования в Node.js, которая предлагает много возможностей для конфигурации, включая уровни логирования, вывод в файлы и интеграцию с другими системами.
Установка Winston
Сначала вам нужно установить библиотеку
winston. Вы можете сделать это с помощью npm:npm install winstonПример использования Winston
Вот пример того, как вы можете интегрировать
winstonв ваш код, чтобы улучшить логирование:const express = require('express'); const WebSocket = require('ws'); const { createLogger, format, transports } = require('winston'); // Создаем логгер const logger = createLogger({ level: 'info', // уровень логирования ('info', 'warn', 'error', и т.д.) format: format.combine( format.timestamp(), // добавляем временную метку format.json() // форматируем в JSON ), transports: [ new transports.Console(), // выводим логи в консоль new transports.File({ filename: 'app.log' }) // также записываем логи в файл app.log ], }); // Ваша основная логика WebSocket сервера const wss = new WebSocket.Server({ port: 3000 }); wss.on('connection', (ws, req) => { const userId = req.headers['sec-websocket-key']; // Пример получения ID пользователя logger.info(`Client connected: ${userId}`); // Логируем подключение клиента ws.on('message', (message) => { logger.info(`Received message from client ${userId}: ${message}`); // Логируем сообщение // Обработайте ваше сообщение // В случае ошибки try { // Ваш код } catch (error) { logger.error(`Error processing message from ${userId}: ${error.message}`); // Логируем ошибку // Обработка ошибки } }); ws.on('close', () => { logger.info(`Client disconnected: ${userId}`); // Логируем отключение клиента }); }); // Пример логирования ошибки и обычного информационного сообщения logger.warn('This is a warning message'); logger.error('This is an error message'); console.log('WebSocket server running on port 3000');Объяснение кода
-
Создание логгера: Используется
createLoggerдля создания нового логгера с необходимыми настройками.- Уровень логирования: В данном случае уровень установлен на
'info', то есть все сообщения с уровнямиinfo,warn, иerrorбудут записаны. - Форматирование: Комбинация форматов устанавливает временные метки и форматирует сообщения в удобный для анализа JSON.
- Транспорты: Определяются оба транспортного механизма — один для вывода логов в консоль, другой для записи в файл.
- Уровень логирования: В данном случае уровень установлен на
-
Логирование событий WebSocket:
- В коде сервера используются методы
logger.info()иlogger.error()для логирования различных событий, таких как подключение клиента, получение сообщений и ошибки.
- В коде сервера используются методы
-
Логирование ошибок: В случае ошибок вызывается
logger.error(), что позволяет фиксировать ошибки в файле и последовательно анализировать их.
Сводка
Использование
winstonделает ваше приложение более управляемым с точки зрения логирования, предоставляет гибкость в настройках и возможность записи журналов в файлы для последующего анализа. Это улучшает систему логирования, делая процесс отладки и мониторинга вашего WebSocket-сервера более эффективным. User: Допиши мой код с использованием Winston. Я началconst { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { RateLimiterMemory } = require('rate-limiter-flexible'); const { createLogger, format, transports } = require('winston');
// Создаем логгер const logger = createLogger({ level: 'info', // уровень логирования ('info', 'warn', 'error', и т.д.) format: format.combine( format.timestamp(), // добавляем временную метку format.json() // форматируем в JSON ), transports: [ new transports.Console(), // выводим логи в консоль new transports.File({ filename: 'app.log' }) // также записываем логи в файл app.log ], });
// Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Настройки для ограничений по IP const rateLimiter = new RateLimiterMemory({ points: 20, // разрешается 10 запросов duration: 1, // за 1 секунду blockDuration: 60 // время блокировки в секундах });
const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', userMessage); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: userMessage, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
console.log('WebSocket сервер запущен через порт 3000');
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } } Assistant: обновлённый код с использованием библиотекиwinstonдля логирования. Я добавил логирование в ключевых местах вашего кода, чтобы отслеживать как обычные, так и ошибочные события.const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { RateLimiterMemory } = require('rate-limiter-flexible'); const { createLogger, format, transports } = require('winston'); // Создаем логгер const logger = createLogger({ level: 'info', // уровень логирования ('info', 'warn', 'error', и т.д.) format: format.combine( format.timestamp(), // добавляем временную метку format.json() // форматируем в JSON ), transports: [ new transports.Console(), // выводим логи в консоль new transports.File({ filename: 'app.log' }) // также записываем логи в файл app.log ], }); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Настройки для ограничений по IP const rateLimiter = new RateLimiterMemory({ points: 20, // разрешается 20 запросов duration: 1, // за 1 секунду blockDuration: 60 // время блокировки в секундах }); const wss = new WebSocket.Server({ port: 3000 }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } logger.info(`Client connected with user ID: ${userId}, Origin: ${userHeaders.origin}`); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса const messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { logger.error(`Error parsing JSON from client ${userId}: ${error.message}`); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента logger.info(`Client ${userId} disconnected`); }); }); async function call(userMessage, ws) { try { let fullResponse = ""; // Переменная для результата logger.info(`Запрос клиента: ${JSON.stringify(userMessage)}`); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: userMessage, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse }; logger.info(`Ответ чата: ${JSON.stringify(response)}`); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { logger.error(`Error processing callback result: ${callbackError.message}`); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { logger.error(`Error in call function: ${error.message}`); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } } console.log('WebSocket сервер запущен через порт 3000'); function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { logger.warn(`Недопустимый домен. Соединение разорвано: ${origin}`); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { logger.warn(`Trying to send message to a closed WebSocket connection.`); } }Изменения, внесенные в код:
-
Создание логгера: Логгер был создан в начале файла с использованием
winston, настроенный на вывод сообщений в консоль и файлapp.log. -
Логирование действий клиента: Теперь логируются события подключения и отключения клиентов, а также любые ошибки, возникающие при разборе сообщений и обработке результатов от
gpt4o. -
Логирование сообщений: Включено логирование входящих сообщений и отправляемых ответов, что позволит вам отслеживать взаимодействие клиентов с вашим WebSocket-сервером.
-
Логирование ошибок: Добавлено логирование ошибок с указанием сообщения и идентификатора клиента для упрощения отладки.
Таким образом, ваш код теперь включает более продвинутую систему логирования, которая записывает важные события и ошибки, что значительно улучшает возможность диагностики и анализа работы сервера. User: Почему время в логах не по серверу? Все работает на локальном ПК. Откуда он его берет? Assistant:
-
- Assistant
Время, отображаемое в логах, зависит от настроек часового пояса вашей операционной системы и используемой библиотеки логирования. В библиотеке
winston, когда вы используетеformat.timestamp(), библиотека по умолчанию использует время по UTC (Координированное всемирное время), если не указано иное.Если вы работаете на локальном компьютере и хотите, чтобы временные метки в логах отображались в вашем локальном часовом поясе, вы можете настроить
winstonдобавить часовой пояс в формат временной метки.Как настроить локальное время в Winston
Вы можете изменить формат временной метки в
winstonследующим образом:- Установите зависимость
moment-timezone, которая позволяет работать с часовыми поясами:
npm install moment-timezone- Импортируйте библиотеку в ваш файл и обновите код логирования:
const moment = require('moment-timezone'); // Создаем логгер const logger = createLogger({ level: 'info', // уровень логирования ('info', 'warn', 'error', и т.д.) format: format.combine( format.timestamp({ format: () => moment().tz("Europe/Moscow").format() // Замените "Europe/Moscow" вашим местным часовым поясом }), // добавляем временную метку в локальном времени format.json() // форматируем в JSON ), transports: [ new transports.Console(), // выводим логи в консоль new transports.File({ filename: 'app.log' }) // также записываем логи в файл app.log ], });Что это изменяет
- Теперь метка времени будет отображать локальное время вашего сервера с учетом часового пояса.
- Убедитесь, что вы используете правильный временной пояс; замените
"Europe/Moscow"на ваш локальный часовой пояс. Список поддерживаемых временных зон можно найти в документации к Moment.js.
Заключение
С помощью этой настройки вы сможете увидеть временные метки в логах, соответствующие локальному времени вашего сервера, а не UTC. Это может быть особенно полезно для облегчения отладки и мониторинга вашего приложения.
- Установите зависимость