const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Оцени и проанализируй Assistant: од содержит реализацию WebSocket-сервера, который обеспечивает интерфейс для общения между клиентами и различными AI API (например, GPT-4). Давайте рассмотрим ключевые аспекты и возможные улучшения этого кода.
Ключевые аспекты:
-
WebSocket Сервер:
- Сервер настраивается на прослушивание порта 3000.
- При подключении клиента обрабатывается его
userId, IP-адрес и заголовки.
-
Клиентские Смещения:
- Статус подключения клиентов и их действия отслеживаются в объекте
clientActions. - У каждого клиента есть свой экземпляр
Bottleneckдля ограничения частоты запросов.
- Статус подключения клиентов и их действия отслеживаются в объекте
-
Валидация Входных Данных:
- Используется
Ajvдля проверки структуры сообщений, чтобы гарантировать, что они содержат обязательные поля и валидные данные.
- Используется
-
Обработка Сообщений:
- Поступающие сообщения от клиента обрабатываются в
ws.on('message', ...). - При превышении лимита запросов отправляется предупреждение о превышении.
- Поступающие сообщения от клиента обрабатываются в
-
Отправка Ответов:
- Ответы клиентам отправляются через
ws.send(), и проверяется состояние соединения.
- Ответы клиентам отправляются через
-
Планировщик Статистики:
- Запланированы функции для сброса статистики и очистки старых соединений.
Возможные улучшения:
-
Логи и Отладка:
- Лучше использовать логирование с использованием библиотек, таких как
winstonилиpino, вместо консольных логов. Это поможет управлять уровнями логирования и ведением журналов в продакшене.
- Лучше использовать логирование с использованием библиотек, таких как
-
Обработка Ошибок:
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
gpt4oотклоните ненужное условиеfinishи добавьте конкретные сообщения об ошибках для различных случаев.
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
-
Расширяемость API:
- Вместо жесткой привязки к API можно реализовать полиморфизм, позволив добавлять или заменять AI API с помощью конфигураций.
-
Безопасность:
- Аутентификация и авторизация клиентов могут быть улучшены для защиты от несанкционированного доступа.
- Возможно стоит использовать HTTPS и соблюдать лучшие практики безопасности веб-сокетов.
-
Кэширование:
- Если некоторые запросы повторяются, может быть полезно рассмотреть кэширование ответов (например, с использованием Redis), чтобы уменьшить нагрузку на API и увеличить скорость отклика.
-
Оптимизация Диска:
- Использование
fsдля постоянного хранения данных (если это необходимо) должно рассматриваться с точки зрения скорости доступа и возможного кэширования.
- Использование
-
Наблюдатели и Системы Уведомлений:
- Внедрение механизма для оповещения администраторов в случае сбоев или ошибок. Например, с помощью системы мониторинга, такой как Prometheus.
-
Тестирование:
- Тесты на уровне единиц и интеграции, чтобы гарантировать, что API и обработка сообщений работают должным образом.
Заключение:
В целом, код четко организован и соблюдает многие принципы хорошего проектирования, такие как использование паттернов проектирования и работу с асинхронностью. Однако, существует множество направлений для улучшения, что позволит сделать сервис более надежным, безопасным и удобным для пользователей. User: Prometheus как ее внедрить в мое приложение Assistant: недрение Prometheus в ваше приложение, использующее WebSocket-сервер, может быть осуществлено в несколько этапов. Prometheus — это система мониторинга и оповещения, которая собирает и хранит метрики в виде временных рядов. Она предоставляет удобные возможности визуализации и обработки данных. Давайте рассмотрим шаги по интеграции Prometheus в ваше приложение:
1. Установка зависимостей
Для использования Prometheus с Node.js вам понадобится библиотека
prom-client. Установите ее с помощью npm:npm install prom-client2. Настройка метрик в вашем приложении
Добавьте следующий код в ваше приложение для настройки и регистрации метрик:
const client = require('prom-client'); // Создаем экземпляр реестра метрик const register = new client.Registry(); // Определяем метрики const httpRequestDurationMicroseconds = new client.Histogram({ name: 'http_request_duration_seconds', help: 'Duration of HTTP requests in seconds', labelNames: ['method', 'route', 'code'], registers: [register], }); const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of connections', registers: [register], }); // Добавим другие метрики по мере необходимости // Например, счетчик запросов const requestCounter = new client.Counter({ name: 'total_requests', help: 'Total number of requests', registers: [register], }); // Экспортируем реестр module.exports = { register, httpRequestDurationMicroseconds, totalConnections, requestCounter, };3. Интеграция метрик в WebSocket-сервер
Добавьте код для обновления метрик в обработчики событий WebSocket:
// Увеличиваем общий счетчик подключений totalConnections.inc(); console.log('Client connected with user ID:', userId);В обработчике сообщений:
ws.on('message', (message) => { const start = Date.now(); // Обработка сообщений... requestCounter.inc(); // Увеличиваем счетчик при получении запроса // На завершение const duration = (Date.now() - start) / 1000; // Продолжительность в секундах httpRequestDurationMicroseconds.labels('user', 'your_route', '200').observe(duration); });4. Создание эндпоинта для экспорта метрик
Создайте HTTP-сервер, который будет предоставлять метрики для Prometheus. Например:
const http = require('http'); const { register } = require('./path-to-your-metrics-file'); // Импортируйте реестр метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });5. Настройка Prometheus для сбора данных
Добавьте конфигурацию для Prometheus в файл
prometheus.yml. Например:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Укажите адрес и порт вашего сервера отображения метрик6. Запуск Prometheus
- Установите Prometheus, если он еще не установлен (вы можете загрузить его с официального сайта).
- Запустите Prometheus с помощью:
prometheus --config.file=prometheus.yml7. Визуализация метрик
После этого вы можете получить доступ к интерфейсу Prometheus через веб-браузер на
http://localhost:9090, чтобы исследовать собранные метрики.Заключение
Теперь ваше приложение будет генерировать метрики, которые Prometheus сможет собирать и отображать. Вы можете расширять свои метрики по мере необходимости, добавляя больше показателей для более детального мониторинга вашего приложения. User: Можно ли использовать Prometheus для сбора статистики Assistant: , Prometheus идеально подходит для сбора статистики и мониторинга различных аспектов работы вашего приложения, включая:
Примеры статистики, которую можно собирать с помощью Prometheus:
-
Метрики производительности:
- Время выполнения запросов (например, с помощью
Histogram). - Количество обработанных запросов (например, с помощью
Counter).
- Время выполнения запросов (например, с помощью
-
Статистика соединений:
- Общее количество подключений клиентов (как в вашем случае с WebSocket).
- Количество активных соединений в данный момент времени.
-
Ошибки и сбои:
- Количество ошибок (например, 4xx и 5xx ошибки).
- Процент неуспешных запросов.
-
Использование ресурсов:
- Потребление CPU и памяти.
- Использование дискового пространства.
-
Настраиваемые метрики:
- Специфические бизнес-метрики, которые имеют смысл для вашего приложения (например, количество зарегистрированных пользователей, количество сообщений в чате и т.д.).
Как использовать Prometheus для сбора статистики:
-
Определение метрик: Создайте метрики для различных аспектов работы вашего приложения с помощью библиотеки
prom-client, как это было описано ранее. Например, вы можете создать счетчики и гистограммы для отслеживания времени выполнения запросов или количества подключений. -
Регистрация метрик: Регистрация метрик в реестре (например, используя
prom-client), чтобы Prometheus мог их собирать. В вашем случае это будет происходить через HTTP-эндпоинт, который вы создали для экспорта метрик. -
Сбор данных: Настройте Prometheus на регулярный сбор данных с вашего приложения, используя конфигурацию в
prometheus.yml. Это может быть сделано путем указания каждого сервиса, из которого вы хотите собирать метрики. -
Мониторинг и оповещения: Используйте консоль Prometheus для проверки метрик и визуализации данных, а также настройте оповещения на основе определенных условий (например, если время выполнения запросов превышает предел).
-
Интеграция с Grafana: Для более удобной визуализации метрик вы можете интегрировать Prometheus с Grafana, которая предоставляет мощные инструменты для построения дашбордов и графиков.
Пример использования
Пример может выглядеть так:
const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Создаем счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Создаем гистограмму для времени подключения const connectionDuration = new client.Histogram({ name: 'connection_duration_seconds', help: 'Histogram of connection durations in seconds', registers: [register], labelNames: ['userId'], }); // При подключении нового клиента wss.on('connection', (ws, req) => { const startTime = Date.now(); // Обработка подключения totalConnections.inc(); // Увеличиваем общий счетчик подключений ws.on('close', () => { const duration = (Date.now() - startTime) / 1000; // Время в секундах connectionDuration.labels(userId).observe(duration); // Записываем время подключения }); }); // Экспорт метрик по эндпоинту const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100);Заключение
Prometheus — отличное решение для сбора статистики и мониторинга. Используя его с вашим приложением, вы сможете получить подробную информацию о его работе, отслеживать аномалии, производительность и принятие решений на основе данных. User: Это бесплатный сервис? Assistant: , Prometheus — это бесплатное и с открытым исходным кодом программное обеспечение для мониторинга и оповещения. Оно распространяется под лицензией Apache 2.0, что означает, что вы можете использовать его, изменять и распространять без каких-либо лицензионных сборов, при условии соблюдения условий этой лицензии.
Основные характеристики Prometheus:
-
Открытый исходный код: Prometheus полностью открыт, его код доступен на GitHub. Это позволяет сообществу вносить улучшения и новые функции.
-
Отсутствие лицензионных сборов: У вас нет необходимости платить за использование Prometheus. Вы можете установить и использовать его как на локальном сервере, так и в облачной среде.
-
Широкий спектр интеграций: Prometheus имеет поддержку множества инструментов и систем (например, Kubernetes, Docker, Node.js и многих других), что делает его очень гибким и подходящим для различных сценариев мониторинга.
-
Широкое сообщество: Prometheus имеет активное сообщество пользователей и разработчиков, что обеспечивает наличие ресурсов, такого как документация, руководства и примеры использования.
Дополнительные аспекты:
-
Визуализация: Хотя Prometheus сам по себе предоставляет базовую визуализацию данных, многие пользователи выбирают Grafana или другие инструменты для более сложной визуализации и создания дашбордов. Grafana также является бесплатной и открытой, но существуют платные версии с дополнительными функциями.
-
Облачные решения: Некоторые облачные провайдеры предлагают управляющие решения для Prometheus, которые могут иметь свои собственные тарифы. Например, AWS, Google Cloud и другие предлагают услуги мониторинга с поддержкой Prometheus, и за использование таких услуг могут взиматься дополнительные сборы.
Таким образом, вы можете использовать Prometheus бесплатно, устанавливая и настраивая его самостоятельно, или воспользоваться управляемыми сервисами, если предпочитаете этот подход и готовы платить за него. User: Т.е. статистика которую собираю я сейчас
// Увеличиваем общий счетчик запросов stats.totalRequests++;
// Увеличиваем общий счетчик подключений stats.totalConnections++;
stats.totalIPBlocks++;
Будет лишней и все это можно получить через Prometheus? Assistant: , вы правы. Если вы интегрируете Prometheus в ваше приложение и начнете собирать аналогичные метрики с помощью
prom-client, вы сможете избавиться от существующих ручных счетчиков статистики, поскольку Prometheus будет автоматически собирать и хранить эту информацию для вас. Давайте рассмотрим, как это может выглядеть и что вам нужно сделать:Преимущества использования Prometheus
-
Автоматизация сбора данных: Вы можете настроить метрики, чтобы они собирались автоматически, и не придется вручную увеличивать счетчики, как в случае с вашим
statsобъектом. -
Хранение историй: Prometheus будет хранить временные ряды данных, что позволит вам отслеживать метрики за длительные периоды времени, настраивать оповещения и анализировать производительность.
-
Гибкость: Вы можете легко добавлять новые метрики и настраивать их, удаляя ненужные счетчики статистики, которые ранее инициализировали вручную.
Как это реализовать
Если вы уже собираете данные с помощью
stats, вы можете постепенно заменить их на метрики Prometheus. Вот, как это можно сделать для ваших текущих счетчиков:const client = require('prom-client'); // Создайте реестр метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Счетчик для блокировок по IP const totalIPBlocks = new client.Counter({ name: 'total_ip_blocks', help: 'Total number of blocked IP addresses', registers: [register] }); // При подключении клиента wss.on('connection', (ws, req) => { totalConnections.inc(); // Увеличиваем счетчик подключений // Другой код... }); // В обработчике сообщений ws.on('message', (message) => { totalRequests.inc(); // Увеличиваем счетчик запросов // Другой код... }); // В случае блокировки IP-адреса function blockIP(ip) { totalIPBlocks.inc(); // Увеличиваем счетчик блокировок IP // Другая логика блокировки... }Итог
Разумеется, вы можете оставить определенные счетчики, если они по-прежнему нужны для специфических отчетов или метрик, которые не могут быть реализованы через Prometheus. Однако, в случае, если ваши утилиты статистики полностью совпадают с метриками, которые может собирать Prometheus, вы можете упростить свою логику и избавиться от старых счетчиков, полагаясь на систему мониторинга для управления производительностью и статистикой вашего приложения.
Таким образом, Prometheus позволяет вам сосредоточиться на более важных задачах, избегая ручного управления метриками и улучшая весь процесс мониторинга и анализа. User: Давай с начала. Вот мой код в файле call.js
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { stats.totalIPBlocks++; //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Нужно внедрить Prometheus для сбора статистика - общее количество подключений и общее количество запросов. Опиши в каких файлах и что надо писать Assistant: внедрить Prometheus для сбора статистики, включая общее количество подключений и общее количество запросов в ваше приложение, вам нужно будет внести изменения в несколько файлов. Вот шаги, которые вам нужно выполнить:
Шаг 1: Установка зависимости
prom-clientЕсли вы еще не установили
prom-client, выполните следующую команду в терминале:npm install prom-clientШаг 2: Создание файла метрик
Создайте новый файл (например,
metrics.js) в корневой папке вашего проекта, чтобы настроить и зарегистрировать метрики:// metrics.js const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Экспортируем реестр и метрики module.exports = { register, totalConnections, totalRequests, };Шаг 3: Внедрение метрик в ваш основной файл (call.js)
Импортируйте
metrics.jsв ваш основной файл (например,call.js) и интегрируйте метрики в обработчики событий WebSocket:// В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик // После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); // Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений // Остальной код обработки подключения... }); ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Остальной код обработки сообщений... });Шаг 4: Настройка Prometheus для сбора метрик
Создайте или настройте файл
prometheus.yml, чтобы добавить вашу метрику для сбора:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Адрес и порт вашего сервера метрикШаг 5: Запуск Prometheus
- Убедитесь, что у вас установлен Prometheus. Если еще не установлен, вы можете скачать его с официального сайта.
- Запустите Prometheus с конфигурацией, созданной на предыдущем шаге:
prometheus --config.file=prometheus.ymlШаг 6: Проверка
Теперь, когда ваше приложение запущено, вы сможете проверить ваш HTTP-сервер метрик, открыв
http://localhost:9100/metricsв браузере, и вы должны увидеть ваши метрикиtotal_connectionsиtotal_requestsтам.Заключение
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вам больше не нужно будет обновлять счетчики в
stats, поскольку Prometheus автоматически обрабатывает эти данные. Также вы можете добавлять другие метрики по мере необходимости, просто определяя их в файлеmetrics.js. User: // В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик// После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } });
metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });
// Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений
// Остальной код обработки подключения...});
ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов
// Остальной код обработки сообщений...});
как будет выглядеть мой файл полностью Assistant: как будет выглядеть ваш файл
call.jsс интеграцией Prometheus для сбора статистики общего количества подключений и запросов. Я включу всю необходимую логику и коды, включая импорт метрик и HTTP-сервер для их экспорта.const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else { clientActions[userId].connected = true; } if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ', userId, ' disconnected'); }); }); // Запускаем планировщик для статистики scheduleDailyReset(); // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false }; // Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message)); } console.log('WebSocket сервер запущен через порт 3000'); //============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //================================================================================== // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } } //============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================Объяснение изменений:
-
Импорт метрик: В начале файла осуществляется импорт функциональности для работы с метриками из файла
metrics.js. -
Создание HTTP-сервера для метрик: Добавлен блок для создания HTTP-сервера, который будет предоставлять метрики на
/metrics. -
Инкременты метрик: На события
connectionиmessageдобавлены инкременты для счетчиков подключений и запросов.
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вы сможете видеть количество подключений и обработанных запросов по адресу
http://localhost:9100/metrics. User: Шаг 4: Настройка Prometheus для сбора метрик Создайте или настройте файл prometheus.yml, чтобы добавить вашу метрику для сбора:global: scrape_interval: 15s
scrape_configs:
- job_name: 'your_application_name'
static_configs:
- targets: ['gpt.loc:9100'] # Адрес и порт вашего сервера метрик
gpt.loc - это домен на локальном сервере. Так правильно? И куда сохранять файл prometheus.yml Assistant: , вы правы! В поле
targetsфайлаprometheus.ymlвы можете указать домен вашего локального сервера, где работает ваш HTTP-сервер для метрик. Если ваш домен —gpt.locи сервер метрик работает на порту9100, то конфигурация будет выглядеть следующим образом:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['gpt.loc:9100'] # Адрес и порт вашего сервера метрикКуда сохранять файл
prometheus.yml?Вы можете сохранять файл
prometheus.ymlв любой удобной директории. Но обычно его размещают в директории, где находится бинарный файл Prometheus или в той же директории, где вы хотите запускать Prometheus. Вот несколько советов по организации:-
Корневая директория проекта: Если ваш проект имеет специальную папку, например,
configилиprometheus, вы можете создать файлprometheus.ymlв этой папке../your-project ├── config │ └── prometheus.yml ├── metrics.js ├── call.js └── ... -
Директория Prometheus: Если вы скачали и развернули Prometheus, то можно положить
prometheus.ymlв директорию, где находится исполняемый файл Prometheus. Например:./prometheus ├── prometheus.yml ├── prometheus ├── promtool └── ... -
Запуск Prometheus: Затем, при запуске Prometheus, не забудьте указать путь к этому файлу конфигурации. Например, если вы находитесь в директории, где расположен исполняемый файл Prometheus и ваш файл
prometheus.ymlнаходится в этой же директории, вы можете запустить Prometheus следующим образом:./prometheus --config.file=prometheus.ymlИли, если файл находится в папке
config:./prometheus --config.file=config/prometheus.yml
Запуск Prometheus с конфигурацией
После того как вы создали файл
prometheus.yml, вы можете следующий шаг — это запустить Prometheus с правильной конфигурацией. Убедитесь, что путь к файлу конфигурации указан правильно, чтобы Prometheus смог его найти и применить настройки.Теперь, когда вы запустите Prometheus, он будет опрашивать ваш сервер метрик по адресу
gpt.loc:9100с заданным интервалом (например, каждые 15 секунд) для сбора данных. User: ./prometheus --config.file=prometheus.ymlя должен в консоли перейти в папку prometheus и ввести команду --config.file=prometheus.yml ? Assistant: вы правильно поняли. Чтобы запустить Prometheus с вашим файлом конфигурации
prometheus.yml, выполните следующие шаги:Шаги для запуска Prometheus с конфигурацией
-
Откройте терминал (или командную строку, в зависимости от вашей операционной системы).
-
Перейдите в директорию, где находится исполняемый файл Prometheus. Если вы, например, скачали и распаковали Prometheus в папку с именем
prometheus, то вам нужно выполнить командуcdдля перехода в эту директорию:cd /path/to/prometheusЗамените
/path/to/prometheusна фактический путь к папке, где находится вашprometheusbin. -
Запустите Prometheus с указанием файла конфигурации. Если ваш файл
prometheus.ymlнаходится в той же директории, что и исполняемый файл Prometheus, вы можете запустить команду следующим образом:./prometheus --config.file=prometheus.ymlЕсли файл конфигурации находится в другой папке, укажите путь к нему:
./prometheus --config.file=./config/prometheus.yml # Если файл находится в подпапке config -
После запуска: Если все сделано правильно, вы должны увидеть в терминале информацию о запуске Prometheus и статусе его работы. Обычно он будет слушать HTTP-запросы на порту 9090 по умолчанию.
-
Откройте браузер и перейдите по адресу
http://localhost:9090для доступа к веб-интерфейсу Prometheus, где вы сможете исследовать собранные метрики и настройки.
Получение справки по опциям
Если вам нужно увидеть доступные опции и команды для запуска Prometheus, вы можете запустить команду без параметров:
./prometheusЭто выведет справочную информацию о том, как использовать Prometheus и доступные параметры. User: ввел ./prometheus --config.file=prometheus.yml в итоге "." не является внутренней или внешней командой, исполняемой программой или пакетным файлом. Это в windows
Assistant: вы работаете в Windows, команда для запуска Prometheus немного отличается от команд в Unix-подобных системах (как Linux или macOS). Вот шаги, которые вы можете выполнить:
1. Откройте
Command PromptилиPowerShell- Нажмите
Windows + R, введитеcmdи нажмитеEnterдля открытия командной строки. - Либо нажмите
Windows + Xи выберитеWindows PowerShell.
2. Перейдите в директорию, где находится ваш исполняемый файл Prometheus
Используйте команду
cd, чтобы перейти в каталог, где находится распакованный Prometheus. Например:cd C:\path\to\prometheus3. Запустите Prometheus
Для запуска Prometheus используйте следующую команду (замените путь к конфигурационному файлу на актуальный):
prometheus.exe --config.file=prometheus.yml4. Либо с полным путем:
Если вы не находитесь в той же директории, что и
prometheus.exe, вы можете указать полный путь к файлу:C:\path\to\prometheus\prometheus.exe --config.file=C:\path\to\prometheus\prometheus.ymlПримечания:
- Убедитесь, что вы используете
prometheus.exe, так как на Windows обычно требуется указывать.exeв конце имени исполняемого файла. - Убедитесь, что файл
prometheus.ymlтакже находится в той же директории или используйте полный путь к нему.
5. Проверка работы:
После того как вы запустите Prometheus, вы должны увидеть вывод в консоли, подтверждающий успешный запуск. Откройте браузер и перейдите по адресу
http://localhost:9090, чтобы получить доступ к панели управления Prometheus.Если возникают ошибки, убедитесь, что пути указаны корректно, и что файл конфигурации действительно существует по этому пути. User: Но ведь http://gpt.loc:9100/API/metrics будет общедоступным Assistant: , если вы запускаете ваш сервер метрик на
http://gpt.loc:9100/metrics, это создаст общедоступный эндпоинт, по которому любой, кто знает этот URL, сможет получить доступ к вашим метрикам. Это может быть желаемым или нежелательным, в зависимости от ваших требований к безопасности. Рассмотрим несколько аспектов, связанных с доступностью вашего эндпоинта:Потенциальные проблемы с безопасностью
-
Общедоступность данных: Все данные, которые вы собираете через Prometheus, включая количество подключений и запросов, будут видны любому, кто имеет доступ к вашему методу. Это может предоставить злоумышленникам ценную информацию о работе вашего сервиса.
-
Доступ к API: Если эндпоинт
/metricsдоступен для внешнего мира, это может стать вектором атаки, если ваше приложение уязвимо.
Рекомендации по безопасности
-
Ограничение доступа:
- Firewall: Используйте настройки брандмауэра, чтобы ограничить доступ к вашему серверу метрик только для определенных IP-адресов или диапазонов.
- VPN: Настройте Virtual Private Network (VPN), чтобы доступ к важным метрикам имели только проверенные пользователи.
-
Аутентификация:
- Рассмотрите возможность внедрения аутентификации для защиты ваших эндпоинтов. Вы можете использовать методы аутентификации HTTP-базовой, API-токены или OAuth, чтобы контролировать, кто может видеть метрики.
-
Используйте HTTPS:
- Если сервер доступен через интернет, настройте TLS (HTTPS) для шифрования данных, передаваемых между клиентами и сервером метрик. Это защитит данные от перехвата.
-
Локальная или частная сеть:
- Если метрики не должны быть общедоступными, вы можете запускать сервер метрик только в локальной или частной сети вашего приложения, что значительно повысит безопасность.
-
Настройка Prometheus для внутреннего использования:
- Если вам не нужны общедоступные метрики, просто не открывайте соответствующий порт для внешнего мира. Убедитесь, что Prometheus собирает метрики только из доверенных источников.
Заключение
Обеспечение безопасности любого API и сервисов, включая сбор метрик, — это критически важная задача. Убедитесь, что ваша архитектура и настройки безопасности соответствуют требованиям вашего приложения и могут предотвратить потенциальные угрозы. User: как защитить этот адрес с помощью API-токенов Assistant: защитить ваш эндпоинт сервера метрик (например,
http://gpt.loc:9100/metrics) с использованием API-токенов, вы можете следовать приведенным ниже шагам:1. Генерация API-токена
Сначала вам необходимо сгенерировать токен (или несколько токенов), которые будут использоваться для аутентификации. Это может быть случайная строка определенной длины. Например, в Node.js вы можете сгенерировать токен так:
const crypto = require('crypto'); function generateToken() { return crypto.randomBytes(16).toString('hex'); // Генерирует случайный 32-значный шестнадцатеричный токен } const apiToken = generateToken(); console.log(apiToken); // Запишите этот токен для будущего использования2. Передача токена при запросе
Теперь, когда у вас есть токен, вы должны передавать его каждый раз, когда делаете запрос к эндпоинту
/metrics. Это можно сделать с помощью HTTP-заголовка.3. Внедрение проверки токена на сервере
Измените код вашего
metrics.js(или в том месте, где вы создаете сервер метрик), чтобы добавлять проверку токена. Вот как это можно сделать:const http = require('http'); const { register } = require('./metrics'); // Импортируем метрики const API_TOKEN = 'your_generated_token_here'; // Замените на ваш сгенерированный токен const metricsServer = http.createServer((req, res) => { // Проверяем на наличие заголовка Authorization const token = req.headers['authorization']; if (!token || token !== `Bearer ${API_TOKEN}`) { res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/metrics'); });4. Делайте запрос с API-токеном
Теперь, когда вы совершаете запрос к вашему серверу метрик, вам нужно будет добавить заголовок
Authorization. Пример с использованиемcurl:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/metrics5. Замена токена
Если вы хотите иметь возможность менять токены, можно хранить их в файле или базе данных, а не в коде. Проверьте токен в начале каждого запроса.
6. Безопасность токенов
- Храните токены в безопасном месте: Не сохраняйте токены в коде, который доступен в публичных репозиториях.
- Регулярно меняйте токены: Установите политику замены токенов через определенные промежутки времени.
- Ограничьте токены по правам: Создавайте разные токены для разных пользователей или сервисов с различными уровнями доступа.
Заключение
Теперь ваш сервер метрик защищен с помощью API-токенов. Токены добавляют дополнительный уровень безопасности, требуя аутентификации перед доступом к вашим метрикам. Убедитесь, что вы следуете best practices для работы с токенами и хранилищами чувствительных данных, чтобы обеспечить безопасность вашего приложения. User: Как это защитит http://gpt.loc:9100/metrics, если клиент просто введет это в адресную строку Assistant: ействительно, если клиент просто введет
http://gpt.loc:9100/metricsв адресную строку браузера, он получит доступ к метрикам, если не выполнена проверка на наличие токена аутентификации. Чтобы предотвратить такую ситуацию, вам нужно убедиться, что ваши метрики защищены и пользователи должны аутентифицироваться.Вот несколько шагов, чтобы улучшить безопасность вашего эндпоинта и убедиться, что он доступен только для авторизованных пользователей:
1. Проверка токена в коде сервера
Как уже упоминалось, необходимо добавить проверку токена в код вашего сервера метрик. Если токен не предоставлен или неверен, необходимо возвращать ошибку (например, статус 403 Forbidden).
Пример кода с проверкой токена:
const http = require('http'); const { register } = require('./metrics'); // Импортируем метрики const API_TOKEN = 'your_generated_token_here'; // Замените на ваш сгенерированный токен const metricsServer = http.createServer((req, res) => { // Проверяем на наличие заголовка Authorization const token = req.headers['authorization']; if (!token || token !== `Bearer ${API_TOKEN}`) { // Если токен не указан или неверен, возвращаем 403 Forbidden res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/metrics'); });2. Как это работает
С такой реализацией если кто-то попытается получить доступ к
http://gpt.loc:9100/metricsбез предоставления корректного токена, они получат ответ403 Forbidden. Это значит, что пользователи, которые не имеют правильного токена, не смогут увидеть метрики.3. Использование API-токена
При выполнении запроса к метрикам токен должен быть передан через заголовок
Authorization. Например, для выполнения запроса с помощьюcurlили из вашего клиентского приложения:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/metricsА если кто-то просто введет URL в браузере, он не сможет получить доступ, так как заголовок
Authorizationне будет присутствовать.4. Дополнительные меры безопасности
- TLS/HTTPS: Обязательно используйте HTTPS для защиты данных, передаваемых между клиентом и сервером.
- IP-блокировка: Вы можете добавить дополнительные меры защиты, например, ограничение доступа по IP-адресам (например, разрешить доступ только с определенных адресов).
- Логирование: Логируйте попытки доступа на ваш эндпоинт без токена, чтобы иметь возможность отслеживать несанкционированные попытки.
Заключение
Таким образом, проверка на наличие API-токена защищает ваши метрики, предотвращая доступ к ним для пользователей, которые не имеют правильной аутентификации. Это позволяет избежать несанкционированного доступа и обеспечивает безопасность ваших данных. User: еще раз где и что мне прописать чтобы защитить http://gpt.loc:9100/API/metrics с помощью API токена. У меня уже есть такой файл metrics.js // metrics.js const client = require('prom-client');
// Создаем реестр для метрик const register = new client.Registry();
// Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] });
// Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] });
// Экспортируем реестр и метрики module.exports = { register, totalConnections, totalRequests, };
а в call.js такое
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем модуль http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
// Создаем HTTP-сервер для метрик const metricsServer = http.createServer(async (req, res) => { if (req.url === '/API/metrics') { try { const metrics = await register.metrics(); // Проверяем, возвращает ли это Promise res.setHeader('Content-Type', register.contentType); res.end(metrics); } catch (error) { console.error('Error generating metrics:', error); res.writeHead(500); res.end('Internal Server Error'); } } else { res.writeHead(404); res.end('Not Found'); } });
metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); ... Assistant: защитить ваш эндпоинт
http://gpt.loc:9100/API/metricsс помощью API-токена, вам необходимо внести несколько изменений в файлcall.js, где у вас уже есть логика HTTP-сервера для генерации метрик. Вот, как это можно сделать:Обновленный файл
call.jsПервое, что нужно сделать, — добавить код для проверки API-токена. Ниже приведён пример, как это можно реализовать:
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем модуль http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Определите ваш API-токен const API_TOKEN = 'your_generated_token_here'; // Замените на ваш действительный токен // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { // Проверка на соответствие URL и заголовка авторизации if (req.url === '/API/metrics') { const token = req.headers['authorization']; // Получаем токен из заголовка // Проверяем правильность токена if (!token || token !== `Bearer ${API_TOKEN}`) { res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } // Если токен корректный, возвращаем метрики res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end('Not Found'); } }); // Запуск сервера метрик на порту 9100 metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/API/metrics'); }); // Остальной код обработки WebSocket-соединений...Объяснение изменений
-
Определение и хранение API-токена:
- Замените
your_generated_token_hereна фактический сгенерированный токен, который вы хотите использовать для аутентификации. Это может быть любой случайный токен, который вы генерируете в вашем коде.
- Замените
-
Проверка токена в заголовке:
- Код проверяет наличие заголовка
Authorization. Если он отсутствует или токен неверен, сервер возвращает статус 403 Forbidden.
- Код проверяет наличие заголовка
-
Отправка метрик:
- Если токен корректный, сервер отправляет метрики, используя зарегистрированные метрики из
prom-client.
- Если токен корректный, сервер отправляет метрики, используя зарегистрированные метрики из
Этап 2: Запрос к серверу метрик
Теперь когда вы хотите получить доступ к метрикам с вашего клиента (например, используя
curl), используйте следующий запрос с указанием заголовкаAuthorization:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/API/metricsЗавершение
Теперь вы защитили свой эндпоинт
/API/metricsс помощью API-токена. Только те пользователи, которые имеют правильный токен, смогут получить доступ к метрикам, что повышает безопасность вашего приложения. User: куда ты дел const metrics = await register.metrics(); или это не нужно? Assistant: -
- Assistant
В вашем случае нет необходимости использовать
await register.metrics()сразу, так как функцияregister.metrics()уже возвращает синхронный результат, который вы можете использовать непосредственно без промисов. Таким образом, можно убратьasyncиawaitиз обработчика.Вот как должен выглядеть ваш обновленный файл
call.jsс правильной обработкой запроса на метрики:const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем модуль http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Определите ваш API-токен const API_TOKEN = 'your_generated_token_here'; // Замените на ваш действительный токен // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { // Проверка на соответствие URL и заголовка авторизации if (req.url === '/API/metrics') { const token = req.headers['authorization']; // Получаем токен из заголовка // Проверяем правильность токена if (!token || token !== `Bearer ${API_TOKEN}`) { res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } // Если токен корректный, возвращаем метрики res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); // Получаем и отправляем метрики } else { res.writeHead(404); res.end('Not Found'); } }); // Запуск сервера метрик на порту 9100 metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/API/metrics'); }); // Остальной код обработки WebSocket-соединений...Объяснение изменений
- Удаление
await: Теперь функцияregister.metrics()вызывается непосредственно без использованияasync/await, так как она не возвращает промис. Она возвращает строку с метриками, и вы можете использовать её сразу же.
Заключение
Таким образом, весь необходимый код оставлен, и теперь вы можете защищать эндпоинт для метрик, не используя лишние асинхронные конструкции. Теперь все корректно работает, и ваш сервер метрик безопасен с использованием API-токенов.
- Удаление