const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Оцени и проанализируй Assistant: од содержит реализацию WebSocket-сервера, который обеспечивает интерфейс для общения между клиентами и различными AI API (например, GPT-4). Давайте рассмотрим ключевые аспекты и возможные улучшения этого кода.
Ключевые аспекты:
-
WebSocket Сервер:
- Сервер настраивается на прослушивание порта 3000.
- При подключении клиента обрабатывается его
userId, IP-адрес и заголовки.
-
Клиентские Смещения:
- Статус подключения клиентов и их действия отслеживаются в объекте
clientActions. - У каждого клиента есть свой экземпляр
Bottleneckдля ограничения частоты запросов.
- Статус подключения клиентов и их действия отслеживаются в объекте
-
Валидация Входных Данных:
- Используется
Ajvдля проверки структуры сообщений, чтобы гарантировать, что они содержат обязательные поля и валидные данные.
- Используется
-
Обработка Сообщений:
- Поступающие сообщения от клиента обрабатываются в
ws.on('message', ...). - При превышении лимита запросов отправляется предупреждение о превышении.
- Поступающие сообщения от клиента обрабатываются в
-
Отправка Ответов:
- Ответы клиентам отправляются через
ws.send(), и проверяется состояние соединения.
- Ответы клиентам отправляются через
-
Планировщик Статистики:
- Запланированы функции для сброса статистики и очистки старых соединений.
Возможные улучшения:
-
Логи и Отладка:
- Лучше использовать логирование с использованием библиотек, таких как
winstonилиpino, вместо консольных логов. Это поможет управлять уровнями логирования и ведением журналов в продакшене.
- Лучше использовать логирование с использованием библиотек, таких как
-
Обработка Ошибок:
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
gpt4oотклоните ненужное условиеfinishи добавьте конкретные сообщения об ошибках для различных случаев.
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
-
Расширяемость API:
- Вместо жесткой привязки к API можно реализовать полиморфизм, позволив добавлять или заменять AI API с помощью конфигураций.
-
Безопасность:
- Аутентификация и авторизация клиентов могут быть улучшены для защиты от несанкционированного доступа.
- Возможно стоит использовать HTTPS и соблюдать лучшие практики безопасности веб-сокетов.
-
Кэширование:
- Если некоторые запросы повторяются, может быть полезно рассмотреть кэширование ответов (например, с использованием Redis), чтобы уменьшить нагрузку на API и увеличить скорость отклика.
-
Оптимизация Диска:
- Использование
fsдля постоянного хранения данных (если это необходимо) должно рассматриваться с точки зрения скорости доступа и возможного кэширования.
- Использование
-
Наблюдатели и Системы Уведомлений:
- Внедрение механизма для оповещения администраторов в случае сбоев или ошибок. Например, с помощью системы мониторинга, такой как Prometheus.
-
Тестирование:
- Тесты на уровне единиц и интеграции, чтобы гарантировать, что API и обработка сообщений работают должным образом.
Заключение:
В целом, код четко организован и соблюдает многие принципы хорошего проектирования, такие как использование паттернов проектирования и работу с асинхронностью. Однако, существует множество направлений для улучшения, что позволит сделать сервис более надежным, безопасным и удобным для пользователей. User: Prometheus как ее внедрить в мое приложение Assistant: недрение Prometheus в ваше приложение, использующее WebSocket-сервер, может быть осуществлено в несколько этапов. Prometheus — это система мониторинга и оповещения, которая собирает и хранит метрики в виде временных рядов. Она предоставляет удобные возможности визуализации и обработки данных. Давайте рассмотрим шаги по интеграции Prometheus в ваше приложение:
1. Установка зависимостей
Для использования Prometheus с Node.js вам понадобится библиотека
prom-client. Установите ее с помощью npm:npm install prom-client2. Настройка метрик в вашем приложении
Добавьте следующий код в ваше приложение для настройки и регистрации метрик:
const client = require('prom-client'); // Создаем экземпляр реестра метрик const register = new client.Registry(); // Определяем метрики const httpRequestDurationMicroseconds = new client.Histogram({ name: 'http_request_duration_seconds', help: 'Duration of HTTP requests in seconds', labelNames: ['method', 'route', 'code'], registers: [register], }); const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of connections', registers: [register], }); // Добавим другие метрики по мере необходимости // Например, счетчик запросов const requestCounter = new client.Counter({ name: 'total_requests', help: 'Total number of requests', registers: [register], }); // Экспортируем реестр module.exports = { register, httpRequestDurationMicroseconds, totalConnections, requestCounter, };3. Интеграция метрик в WebSocket-сервер
Добавьте код для обновления метрик в обработчики событий WebSocket:
// Увеличиваем общий счетчик подключений totalConnections.inc(); console.log('Client connected with user ID:', userId);В обработчике сообщений:
ws.on('message', (message) => { const start = Date.now(); // Обработка сообщений... requestCounter.inc(); // Увеличиваем счетчик при получении запроса // На завершение const duration = (Date.now() - start) / 1000; // Продолжительность в секундах httpRequestDurationMicroseconds.labels('user', 'your_route', '200').observe(duration); });4. Создание эндпоинта для экспорта метрик
Создайте HTTP-сервер, который будет предоставлять метрики для Prometheus. Например:
const http = require('http'); const { register } = require('./path-to-your-metrics-file'); // Импортируйте реестр метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });5. Настройка Prometheus для сбора данных
Добавьте конфигурацию для Prometheus в файл
prometheus.yml. Например:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Укажите адрес и порт вашего сервера отображения метрик6. Запуск Prometheus
- Установите Prometheus, если он еще не установлен (вы можете загрузить его с официального сайта).
- Запустите Prometheus с помощью:
prometheus --config.file=prometheus.yml7. Визуализация метрик
После этого вы можете получить доступ к интерфейсу Prometheus через веб-браузер на
http://localhost:9090, чтобы исследовать собранные метрики.Заключение
Теперь ваше приложение будет генерировать метрики, которые Prometheus сможет собирать и отображать. Вы можете расширять свои метрики по мере необходимости, добавляя больше показателей для более детального мониторинга вашего приложения. User: Можно ли использовать Prometheus для сбора статистики Assistant: , Prometheus идеально подходит для сбора статистики и мониторинга различных аспектов работы вашего приложения, включая:
Примеры статистики, которую можно собирать с помощью Prometheus:
-
Метрики производительности:
- Время выполнения запросов (например, с помощью
Histogram). - Количество обработанных запросов (например, с помощью
Counter).
- Время выполнения запросов (например, с помощью
-
Статистика соединений:
- Общее количество подключений клиентов (как в вашем случае с WebSocket).
- Количество активных соединений в данный момент времени.
-
Ошибки и сбои:
- Количество ошибок (например, 4xx и 5xx ошибки).
- Процент неуспешных запросов.
-
Использование ресурсов:
- Потребление CPU и памяти.
- Использование дискового пространства.
-
Настраиваемые метрики:
- Специфические бизнес-метрики, которые имеют смысл для вашего приложения (например, количество зарегистрированных пользователей, количество сообщений в чате и т.д.).
Как использовать Prometheus для сбора статистики:
-
Определение метрик: Создайте метрики для различных аспектов работы вашего приложения с помощью библиотеки
prom-client, как это было описано ранее. Например, вы можете создать счетчики и гистограммы для отслеживания времени выполнения запросов или количества подключений. -
Регистрация метрик: Регистрация метрик в реестре (например, используя
prom-client), чтобы Prometheus мог их собирать. В вашем случае это будет происходить через HTTP-эндпоинт, который вы создали для экспорта метрик. -
Сбор данных: Настройте Prometheus на регулярный сбор данных с вашего приложения, используя конфигурацию в
prometheus.yml. Это может быть сделано путем указания каждого сервиса, из которого вы хотите собирать метрики. -
Мониторинг и оповещения: Используйте консоль Prometheus для проверки метрик и визуализации данных, а также настройте оповещения на основе определенных условий (например, если время выполнения запросов превышает предел).
-
Интеграция с Grafana: Для более удобной визуализации метрик вы можете интегрировать Prometheus с Grafana, которая предоставляет мощные инструменты для построения дашбордов и графиков.
Пример использования
Пример может выглядеть так:
const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Создаем счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Создаем гистограмму для времени подключения const connectionDuration = new client.Histogram({ name: 'connection_duration_seconds', help: 'Histogram of connection durations in seconds', registers: [register], labelNames: ['userId'], }); // При подключении нового клиента wss.on('connection', (ws, req) => { const startTime = Date.now(); // Обработка подключения totalConnections.inc(); // Увеличиваем общий счетчик подключений ws.on('close', () => { const duration = (Date.now() - startTime) / 1000; // Время в секундах connectionDuration.labels(userId).observe(duration); // Записываем время подключения }); }); // Экспорт метрик по эндпоинту const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100);Заключение
Prometheus — отличное решение для сбора статистики и мониторинга. Используя его с вашим приложением, вы сможете получить подробную информацию о его работе, отслеживать аномалии, производительность и принятие решений на основе данных. User: Это бесплатный сервис? Assistant: , Prometheus — это бесплатное и с открытым исходным кодом программное обеспечение для мониторинга и оповещения. Оно распространяется под лицензией Apache 2.0, что означает, что вы можете использовать его, изменять и распространять без каких-либо лицензионных сборов, при условии соблюдения условий этой лицензии.
Основные характеристики Prometheus:
-
Открытый исходный код: Prometheus полностью открыт, его код доступен на GitHub. Это позволяет сообществу вносить улучшения и новые функции.
-
Отсутствие лицензионных сборов: У вас нет необходимости платить за использование Prometheus. Вы можете установить и использовать его как на локальном сервере, так и в облачной среде.
-
Широкий спектр интеграций: Prometheus имеет поддержку множества инструментов и систем (например, Kubernetes, Docker, Node.js и многих других), что делает его очень гибким и подходящим для различных сценариев мониторинга.
-
Широкое сообщество: Prometheus имеет активное сообщество пользователей и разработчиков, что обеспечивает наличие ресурсов, такого как документация, руководства и примеры использования.
Дополнительные аспекты:
-
Визуализация: Хотя Prometheus сам по себе предоставляет базовую визуализацию данных, многие пользователи выбирают Grafana или другие инструменты для более сложной визуализации и создания дашбордов. Grafana также является бесплатной и открытой, но существуют платные версии с дополнительными функциями.
-
Облачные решения: Некоторые облачные провайдеры предлагают управляющие решения для Prometheus, которые могут иметь свои собственные тарифы. Например, AWS, Google Cloud и другие предлагают услуги мониторинга с поддержкой Prometheus, и за использование таких услуг могут взиматься дополнительные сборы.
Таким образом, вы можете использовать Prometheus бесплатно, устанавливая и настраивая его самостоятельно, или воспользоваться управляемыми сервисами, если предпочитаете этот подход и готовы платить за него. User: Т.е. статистика которую собираю я сейчас
// Увеличиваем общий счетчик запросов stats.totalRequests++;
// Увеличиваем общий счетчик подключений stats.totalConnections++;
stats.totalIPBlocks++;
Будет лишней и все это можно получить через Prometheus? Assistant: , вы правы. Если вы интегрируете Prometheus в ваше приложение и начнете собирать аналогичные метрики с помощью
prom-client, вы сможете избавиться от существующих ручных счетчиков статистики, поскольку Prometheus будет автоматически собирать и хранить эту информацию для вас. Давайте рассмотрим, как это может выглядеть и что вам нужно сделать:Преимущества использования Prometheus
-
Автоматизация сбора данных: Вы можете настроить метрики, чтобы они собирались автоматически, и не придется вручную увеличивать счетчики, как в случае с вашим
statsобъектом. -
Хранение историй: Prometheus будет хранить временные ряды данных, что позволит вам отслеживать метрики за длительные периоды времени, настраивать оповещения и анализировать производительность.
-
Гибкость: Вы можете легко добавлять новые метрики и настраивать их, удаляя ненужные счетчики статистики, которые ранее инициализировали вручную.
Как это реализовать
Если вы уже собираете данные с помощью
stats, вы можете постепенно заменить их на метрики Prometheus. Вот, как это можно сделать для ваших текущих счетчиков:const client = require('prom-client'); // Создайте реестр метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Счетчик для блокировок по IP const totalIPBlocks = new client.Counter({ name: 'total_ip_blocks', help: 'Total number of blocked IP addresses', registers: [register] }); // При подключении клиента wss.on('connection', (ws, req) => { totalConnections.inc(); // Увеличиваем счетчик подключений // Другой код... }); // В обработчике сообщений ws.on('message', (message) => { totalRequests.inc(); // Увеличиваем счетчик запросов // Другой код... }); // В случае блокировки IP-адреса function blockIP(ip) { totalIPBlocks.inc(); // Увеличиваем счетчик блокировок IP // Другая логика блокировки... }Итог
Разумеется, вы можете оставить определенные счетчики, если они по-прежнему нужны для специфических отчетов или метрик, которые не могут быть реализованы через Prometheus. Однако, в случае, если ваши утилиты статистики полностью совпадают с метриками, которые может собирать Prometheus, вы можете упростить свою логику и избавиться от старых счетчиков, полагаясь на систему мониторинга для управления производительностью и статистикой вашего приложения.
Таким образом, Prometheus позволяет вам сосредоточиться на более важных задачах, избегая ручного управления метриками и улучшая весь процесс мониторинга и анализа. User: Давай с начала. Вот мой код в файле call.js
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { stats.totalIPBlocks++; //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Нужно внедрить Prometheus для сбора статистика - общее количество подключений и общее количество запросов. Опиши в каких файлах и что надо писать Assistant: внедрить Prometheus для сбора статистики, включая общее количество подключений и общее количество запросов в ваше приложение, вам нужно будет внести изменения в несколько файлов. Вот шаги, которые вам нужно выполнить:
Шаг 1: Установка зависимости
prom-clientЕсли вы еще не установили
prom-client, выполните следующую команду в терминале:npm install prom-clientШаг 2: Создание файла метрик
Создайте новый файл (например,
metrics.js) в корневой папке вашего проекта, чтобы настроить и зарегистрировать метрики:// metrics.js const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Экспортируем реестр и метрики module.exports = { register, totalConnections, totalRequests, };Шаг 3: Внедрение метрик в ваш основной файл (call.js)
Импортируйте
metrics.jsв ваш основной файл (например,call.js) и интегрируйте метрики в обработчики событий WebSocket:// В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик // После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); // Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений // Остальной код обработки подключения... }); ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Остальной код обработки сообщений... });Шаг 4: Настройка Prometheus для сбора метрик
Создайте или настройте файл
prometheus.yml, чтобы добавить вашу метрику для сбора:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Адрес и порт вашего сервера метрикШаг 5: Запуск Prometheus
- Убедитесь, что у вас установлен Prometheus. Если еще не установлен, вы можете скачать его с официального сайта.
- Запустите Prometheus с конфигурацией, созданной на предыдущем шаге:
prometheus --config.file=prometheus.ymlШаг 6: Проверка
Теперь, когда ваше приложение запущено, вы сможете проверить ваш HTTP-сервер метрик, открыв
http://localhost:9100/metricsв браузере, и вы должны увидеть ваши метрикиtotal_connectionsиtotal_requestsтам.Заключение
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вам больше не нужно будет обновлять счетчики в
stats, поскольку Prometheus автоматически обрабатывает эти данные. Также вы можете добавлять другие метрики по мере необходимости, просто определяя их в файлеmetrics.js. User: // В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик// После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } });
metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });
// Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений
// Остальной код обработки подключения...});
ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов
// Остальной код обработки сообщений...});
как будет выглядеть мой файл полностью Assistant:
-
- Assistant
Вот как будет выглядеть ваш файл
call.jsс интеграцией Prometheus для сбора статистики общего количества подключений и запросов. Я включу всю необходимую логику и коды, включая импорт метрик и HTTP-сервер для их экспорта.const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else { clientActions[userId].connected = true; } if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ', userId, ' disconnected'); }); }); // Запускаем планировщик для статистики scheduleDailyReset(); // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false }; // Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message)); } console.log('WebSocket сервер запущен через порт 3000'); //============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //================================================================================== // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } } //============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================Объяснение изменений:
-
Импорт метрик: В начале файла осуществляется импорт функциональности для работы с метриками из файла
metrics.js. -
Создание HTTP-сервера для метрик: Добавлен блок для создания HTTP-сервера, который будет предоставлять метрики на
/metrics. -
Инкременты метрик: На события
connectionиmessageдобавлены инкременты для счетчиков подключений и запросов.
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вы сможете видеть количество подключений и обработанных запросов по адресу
http://localhost:9100/metrics. -