const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle");…
- User
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { RateLimiterMemory } = require('rate-limiter-flexible');
// Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Настройки для ограничений по IP const rateLimiter = new RateLimiterMemory({ points: 20, // разрешается 10 запросов duration: 1, // за 1 секунду blockDuration: 60 // время блокировки в секундах });
const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса messages = message.messages; rateLimiter.consume(userIP) .then(() => { // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); }) .catch(() => { const response = { code: 2, message: "Вы временно заблокированы за превышение лимита запросов." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
console.log('WebSocket сервер запущен через порт 3000');
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен } }); }, 60000); // Очистка каждые 60 секунд
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }Оцени код. Что еще добавить?
- Assistant
Код представляет собой довольно хорошо структурированный WebSocket-сервер, который управляет подключениями клиентов и ограничивает частоту запросов на основе различных методов (таких как Bottleneck и RateLimiter). Однако существует несколько улучшений, которые можно было бы добавить для повышения читаемости, надёжности и функциональности:
Улучшения кода
-
Улучшение обработки ошибок:
- Обработка ошибок может быть более детализированной. Например, вы могли бы логировать не только общие сообщения об ошибках, но и конкретные данные, вызвавшие ошибки.
- Также полезно использовать специальные классы ошибок для различного типа ошибок (например,
RateLimitError,ConnectionErrorи т.д.).
-
Добавление логирования:
- Возможно, стоит добавлять более детализированное логирование, чтобы легче было отслеживать проблемы, такие как количество подключений, количество обработанных запросов и время обработки запросов.
-
Управление состоянием клиента:
- При отключении клиента лучше не удалять состояние сразу. Вместо этого можно сохранить информацию о том, когда пользователь отключился, для возможной последующей обработки (например, повторная инициализация при новом подключении).
-
Поддержка разных типов сообщений:
- Если ваше приложение должно поддерживать несколько типов сообщений, можно использовать более сложную структуру для определения и обработки различных типов сообщений (например, запросы на управление пользователем, запросы на отправку сообщений и т.д.).
-
Кэширование:
- Если запросы одного и того же пользователя содержат дублирующие данные, можно реализовать систему кэширования, чтобы уменьшить нагрузку на сервер и сократить время ожидания.
-
Планировщик задач:
- По желанию можно добавить планировщик задач для обработки фоновых задач, таких как периодические отчеты о состоянии соединений или пользовательской активности.
-
Валидация данных:
- Перед обработкой входящих сообщений целесообразно убедиться, что они соответствуют некоторым ожиданиям (например, что сообщения содержат необходимые поля).
-
Конфигурационные параметры:
- Задать параметры, такие как предел запросов и временные рамки, через конфигурационный файл, чтобы их можно было легко изменять.
-
Тестирование:
- Написание юнит-тестов и интеграционных тестов поможет обеспечить надёжность и сделать код более удобным в поддержке.
-
Безопасность:
- Рассмотрите возможность добавления дополнительных мер безопасности, таких как аутентификация клиентов и защита от атак, таких как DDoS.
- Усовершенствование структуры:
- Код можно структурировать более модульно. Рассмотрите возможность разделения на отдельные файлы (например, обработка сообщений, логирование, маршрутизация и т.д.).
- Документация:
- Добавьте комментарии и документацию к вашему коду, чтобы объяснить неочевидные части кода и его структуру.
Пример структуры для улучшения
Вот как можно было бы реализовать еще несколько из предложенных изменений в отдельном файле, например, для управления ошибками:
// error-handler.js class RateLimitError extends Error { constructor(message) { super(message); this.name = "RateLimitError"; } } // Пример использования function handleError(error, ws) { if (error instanceof RateLimitError) { sendMessage(ws, { code: 2, message: error.message }); } else { sendMessage(ws, { code: 2, message: "Общая ошибка. Попробуйте еще раз." }); } }В целом, ваш код уже выглядит довольно хорошо, но, соблюдая эти рекомендации, вы можете сделать его еще более эффективным, устойчивым и удобным в использовании.
-