const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…
- User
User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Оцени и проанализируй Assistant: од содержит реализацию WebSocket-сервера, который обеспечивает интерфейс для общения между клиентами и различными AI API (например, GPT-4). Давайте рассмотрим ключевые аспекты и возможные улучшения этого кода.
Ключевые аспекты:
-
WebSocket Сервер:
- Сервер настраивается на прослушивание порта 3000.
- При подключении клиента обрабатывается его
userId, IP-адрес и заголовки.
-
Клиентские Смещения:
- Статус подключения клиентов и их действия отслеживаются в объекте
clientActions. - У каждого клиента есть свой экземпляр
Bottleneckдля ограничения частоты запросов.
- Статус подключения клиентов и их действия отслеживаются в объекте
-
Валидация Входных Данных:
- Используется
Ajvдля проверки структуры сообщений, чтобы гарантировать, что они содержат обязательные поля и валидные данные.
- Используется
-
Обработка Сообщений:
- Поступающие сообщения от клиента обрабатываются в
ws.on('message', ...). - При превышении лимита запросов отправляется предупреждение о превышении.
- Поступающие сообщения от клиента обрабатываются в
-
Отправка Ответов:
- Ответы клиентам отправляются через
ws.send(), и проверяется состояние соединения.
- Ответы клиентам отправляются через
-
Планировщик Статистики:
- Запланированы функции для сброса статистики и очистки старых соединений.
Возможные улучшения:
-
Логи и Отладка:
- Лучше использовать логирование с использованием библиотек, таких как
winstonилиpino, вместо консольных логов. Это поможет управлять уровнями логирования и ведением журналов в продакшене.
- Лучше использовать логирование с использованием библиотек, таких как
-
Обработка Ошибок:
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
gpt4oотклоните ненужное условиеfinishи добавьте конкретные сообщения об ошибках для различных случаев.
- Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции
-
Расширяемость API:
- Вместо жесткой привязки к API можно реализовать полиморфизм, позволив добавлять или заменять AI API с помощью конфигураций.
-
Безопасность:
- Аутентификация и авторизация клиентов могут быть улучшены для защиты от несанкционированного доступа.
- Возможно стоит использовать HTTPS и соблюдать лучшие практики безопасности веб-сокетов.
-
Кэширование:
- Если некоторые запросы повторяются, может быть полезно рассмотреть кэширование ответов (например, с использованием Redis), чтобы уменьшить нагрузку на API и увеличить скорость отклика.
-
Оптимизация Диска:
- Использование
fsдля постоянного хранения данных (если это необходимо) должно рассматриваться с точки зрения скорости доступа и возможного кэширования.
- Использование
-
Наблюдатели и Системы Уведомлений:
- Внедрение механизма для оповещения администраторов в случае сбоев или ошибок. Например, с помощью системы мониторинга, такой как Prometheus.
-
Тестирование:
- Тесты на уровне единиц и интеграции, чтобы гарантировать, что API и обработка сообщений работают должным образом.
Заключение:
В целом, код четко организован и соблюдает многие принципы хорошего проектирования, такие как использование паттернов проектирования и работу с асинхронностью. Однако, существует множество направлений для улучшения, что позволит сделать сервис более надежным, безопасным и удобным для пользователей. User: Prometheus как ее внедрить в мое приложение Assistant: недрение Prometheus в ваше приложение, использующее WebSocket-сервер, может быть осуществлено в несколько этапов. Prometheus — это система мониторинга и оповещения, которая собирает и хранит метрики в виде временных рядов. Она предоставляет удобные возможности визуализации и обработки данных. Давайте рассмотрим шаги по интеграции Prometheus в ваше приложение:
1. Установка зависимостей
Для использования Prometheus с Node.js вам понадобится библиотека
prom-client. Установите ее с помощью npm:npm install prom-client2. Настройка метрик в вашем приложении
Добавьте следующий код в ваше приложение для настройки и регистрации метрик:
const client = require('prom-client'); // Создаем экземпляр реестра метрик const register = new client.Registry(); // Определяем метрики const httpRequestDurationMicroseconds = new client.Histogram({ name: 'http_request_duration_seconds', help: 'Duration of HTTP requests in seconds', labelNames: ['method', 'route', 'code'], registers: [register], }); const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of connections', registers: [register], }); // Добавим другие метрики по мере необходимости // Например, счетчик запросов const requestCounter = new client.Counter({ name: 'total_requests', help: 'Total number of requests', registers: [register], }); // Экспортируем реестр module.exports = { register, httpRequestDurationMicroseconds, totalConnections, requestCounter, };3. Интеграция метрик в WebSocket-сервер
Добавьте код для обновления метрик в обработчики событий WebSocket:
// Увеличиваем общий счетчик подключений totalConnections.inc(); console.log('Client connected with user ID:', userId);В обработчике сообщений:
ws.on('message', (message) => { const start = Date.now(); // Обработка сообщений... requestCounter.inc(); // Увеличиваем счетчик при получении запроса // На завершение const duration = (Date.now() - start) / 1000; // Продолжительность в секундах httpRequestDurationMicroseconds.labels('user', 'your_route', '200').observe(duration); });4. Создание эндпоинта для экспорта метрик
Создайте HTTP-сервер, который будет предоставлять метрики для Prometheus. Например:
const http = require('http'); const { register } = require('./path-to-your-metrics-file'); // Импортируйте реестр метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });5. Настройка Prometheus для сбора данных
Добавьте конфигурацию для Prometheus в файл
prometheus.yml. Например:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Укажите адрес и порт вашего сервера отображения метрик6. Запуск Prometheus
- Установите Prometheus, если он еще не установлен (вы можете загрузить его с официального сайта).
- Запустите Prometheus с помощью:
prometheus --config.file=prometheus.yml7. Визуализация метрик
После этого вы можете получить доступ к интерфейсу Prometheus через веб-браузер на
http://localhost:9090, чтобы исследовать собранные метрики.Заключение
Теперь ваше приложение будет генерировать метрики, которые Prometheus сможет собирать и отображать. Вы можете расширять свои метрики по мере необходимости, добавляя больше показателей для более детального мониторинга вашего приложения. User: Можно ли использовать Prometheus для сбора статистики Assistant: , Prometheus идеально подходит для сбора статистики и мониторинга различных аспектов работы вашего приложения, включая:
Примеры статистики, которую можно собирать с помощью Prometheus:
-
Метрики производительности:
- Время выполнения запросов (например, с помощью
Histogram). - Количество обработанных запросов (например, с помощью
Counter).
- Время выполнения запросов (например, с помощью
-
Статистика соединений:
- Общее количество подключений клиентов (как в вашем случае с WebSocket).
- Количество активных соединений в данный момент времени.
-
Ошибки и сбои:
- Количество ошибок (например, 4xx и 5xx ошибки).
- Процент неуспешных запросов.
-
Использование ресурсов:
- Потребление CPU и памяти.
- Использование дискового пространства.
-
Настраиваемые метрики:
- Специфические бизнес-метрики, которые имеют смысл для вашего приложения (например, количество зарегистрированных пользователей, количество сообщений в чате и т.д.).
Как использовать Prometheus для сбора статистики:
-
Определение метрик: Создайте метрики для различных аспектов работы вашего приложения с помощью библиотеки
prom-client, как это было описано ранее. Например, вы можете создать счетчики и гистограммы для отслеживания времени выполнения запросов или количества подключений. -
Регистрация метрик: Регистрация метрик в реестре (например, используя
prom-client), чтобы Prometheus мог их собирать. В вашем случае это будет происходить через HTTP-эндпоинт, который вы создали для экспорта метрик. -
Сбор данных: Настройте Prometheus на регулярный сбор данных с вашего приложения, используя конфигурацию в
prometheus.yml. Это может быть сделано путем указания каждого сервиса, из которого вы хотите собирать метрики. -
Мониторинг и оповещения: Используйте консоль Prometheus для проверки метрик и визуализации данных, а также настройте оповещения на основе определенных условий (например, если время выполнения запросов превышает предел).
-
Интеграция с Grafana: Для более удобной визуализации метрик вы можете интегрировать Prometheus с Grafana, которая предоставляет мощные инструменты для построения дашбордов и графиков.
Пример использования
Пример может выглядеть так:
const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Создаем счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Создаем гистограмму для времени подключения const connectionDuration = new client.Histogram({ name: 'connection_duration_seconds', help: 'Histogram of connection durations in seconds', registers: [register], labelNames: ['userId'], }); // При подключении нового клиента wss.on('connection', (ws, req) => { const startTime = Date.now(); // Обработка подключения totalConnections.inc(); // Увеличиваем общий счетчик подключений ws.on('close', () => { const duration = (Date.now() - startTime) / 1000; // Время в секундах connectionDuration.labels(userId).observe(duration); // Записываем время подключения }); }); // Экспорт метрик по эндпоинту const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100);Заключение
Prometheus — отличное решение для сбора статистики и мониторинга. Используя его с вашим приложением, вы сможете получить подробную информацию о его работе, отслеживать аномалии, производительность и принятие решений на основе данных. User: Это бесплатный сервис? Assistant: , Prometheus — это бесплатное и с открытым исходным кодом программное обеспечение для мониторинга и оповещения. Оно распространяется под лицензией Apache 2.0, что означает, что вы можете использовать его, изменять и распространять без каких-либо лицензионных сборов, при условии соблюдения условий этой лицензии.
Основные характеристики Prometheus:
-
Открытый исходный код: Prometheus полностью открыт, его код доступен на GitHub. Это позволяет сообществу вносить улучшения и новые функции.
-
Отсутствие лицензионных сборов: У вас нет необходимости платить за использование Prometheus. Вы можете установить и использовать его как на локальном сервере, так и в облачной среде.
-
Широкий спектр интеграций: Prometheus имеет поддержку множества инструментов и систем (например, Kubernetes, Docker, Node.js и многих других), что делает его очень гибким и подходящим для различных сценариев мониторинга.
-
Широкое сообщество: Prometheus имеет активное сообщество пользователей и разработчиков, что обеспечивает наличие ресурсов, такого как документация, руководства и примеры использования.
Дополнительные аспекты:
-
Визуализация: Хотя Prometheus сам по себе предоставляет базовую визуализацию данных, многие пользователи выбирают Grafana или другие инструменты для более сложной визуализации и создания дашбордов. Grafana также является бесплатной и открытой, но существуют платные версии с дополнительными функциями.
-
Облачные решения: Некоторые облачные провайдеры предлагают управляющие решения для Prometheus, которые могут иметь свои собственные тарифы. Например, AWS, Google Cloud и другие предлагают услуги мониторинга с поддержкой Prometheus, и за использование таких услуг могут взиматься дополнительные сборы.
Таким образом, вы можете использовать Prometheus бесплатно, устанавливая и настраивая его самостоятельно, или воспользоваться управляемыми сервисами, если предпочитаете этот подход и готовы платить за него. User: Т.е. статистика которую собираю я сейчас
// Увеличиваем общий счетчик запросов stats.totalRequests++;
// Увеличиваем общий счетчик подключений stats.totalConnections++;
stats.totalIPBlocks++;
Будет лишней и все это можно получить через Prometheus? Assistant: , вы правы. Если вы интегрируете Prometheus в ваше приложение и начнете собирать аналогичные метрики с помощью
prom-client, вы сможете избавиться от существующих ручных счетчиков статистики, поскольку Prometheus будет автоматически собирать и хранить эту информацию для вас. Давайте рассмотрим, как это может выглядеть и что вам нужно сделать:Преимущества использования Prometheus
-
Автоматизация сбора данных: Вы можете настроить метрики, чтобы они собирались автоматически, и не придется вручную увеличивать счетчики, как в случае с вашим
statsобъектом. -
Хранение историй: Prometheus будет хранить временные ряды данных, что позволит вам отслеживать метрики за длительные периоды времени, настраивать оповещения и анализировать производительность.
-
Гибкость: Вы можете легко добавлять новые метрики и настраивать их, удаляя ненужные счетчики статистики, которые ранее инициализировали вручную.
Как это реализовать
Если вы уже собираете данные с помощью
stats, вы можете постепенно заменить их на метрики Prometheus. Вот, как это можно сделать для ваших текущих счетчиков:const client = require('prom-client'); // Создайте реестр метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Счетчик для блокировок по IP const totalIPBlocks = new client.Counter({ name: 'total_ip_blocks', help: 'Total number of blocked IP addresses', registers: [register] }); // При подключении клиента wss.on('connection', (ws, req) => { totalConnections.inc(); // Увеличиваем счетчик подключений // Другой код... }); // В обработчике сообщений ws.on('message', (message) => { totalRequests.inc(); // Увеличиваем счетчик запросов // Другой код... }); // В случае блокировки IP-адреса function blockIP(ip) { totalIPBlocks.inc(); // Увеличиваем счетчик блокировок IP // Другая логика блокировки... }Итог
Разумеется, вы можете оставить определенные счетчики, если они по-прежнему нужны для специфических отчетов или метрик, которые не могут быть реализованы через Prometheus. Однако, в случае, если ваши утилиты статистики полностью совпадают с метриками, которые может собирать Prometheus, вы можете упростить свою логику и избавиться от старых счетчиков, полагаясь на систему мониторинга для управления производительностью и статистикой вашего приложения.
Таким образом, Prometheus позволяет вам сосредоточиться на более важных задачах, избегая ручного управления метриками и улучшая весь процесс мониторинга и анализа. User: Давай с начала. Вот мой код в файле call.js
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { stats.totalIPBlocks++; //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
//============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
//============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================
Нужно внедрить Prometheus для сбора статистика - общее количество подключений и общее количество запросов. Опиши в каких файлах и что надо писать Assistant: внедрить Prometheus для сбора статистики, включая общее количество подключений и общее количество запросов в ваше приложение, вам нужно будет внести изменения в несколько файлов. Вот шаги, которые вам нужно выполнить:
Шаг 1: Установка зависимости
prom-clientЕсли вы еще не установили
prom-client, выполните следующую команду в терминале:npm install prom-clientШаг 2: Создание файла метрик
Создайте новый файл (например,
metrics.js) в корневой папке вашего проекта, чтобы настроить и зарегистрировать метрики:// metrics.js const client = require('prom-client'); // Создаем реестр для метрик const register = new client.Registry(); // Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] }); // Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] }); // Экспортируем реестр и метрики module.exports = { register, totalConnections, totalRequests, };Шаг 3: Внедрение метрик в ваш основной файл (call.js)
Импортируйте
metrics.jsв ваш основной файл (например,call.js) и интегрируйте метрики в обработчики событий WebSocket:// В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик // После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); // Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений // Остальной код обработки подключения... }); ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Остальной код обработки сообщений... });Шаг 4: Настройка Prometheus для сбора метрик
Создайте или настройте файл
prometheus.yml, чтобы добавить вашу метрику для сбора:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['localhost:9100'] # Адрес и порт вашего сервера метрикШаг 5: Запуск Prometheus
- Убедитесь, что у вас установлен Prometheus. Если еще не установлен, вы можете скачать его с официального сайта.
- Запустите Prometheus с конфигурацией, созданной на предыдущем шаге:
prometheus --config.file=prometheus.ymlШаг 6: Проверка
Теперь, когда ваше приложение запущено, вы сможете проверить ваш HTTP-сервер метрик, открыв
http://localhost:9100/metricsв браузере, и вы должны увидеть ваши метрикиtotal_connectionsиtotal_requestsтам.Заключение
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вам больше не нужно будет обновлять счетчики в
stats, поскольку Prometheus автоматически обрабатывает эти данные. Также вы можете добавлять другие метрики по мере необходимости, просто определяя их в файлеmetrics.js. User: // В начале файла call.js const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики const http = require('http'); // Импортируем http для сервера метрик// После создания WebSocket-сервера добавьте код для HTTP-сервера метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } });
metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); });
// Внедряем метрики в обработчики событий wss.on('connection', (ws, req) => { // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений
// Остальной код обработки подключения...});
ws.on('message', (message) => { // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов
// Остальной код обработки сообщений...});
как будет выглядеть мой файл полностью Assistant: как будет выглядеть ваш файл
call.jsс интеграцией Prometheus для сбора статистики общего количества подключений и запросов. Я включу всю необходимую логику и коды, включая импорт метрик и HTTP-сервер для их экспорта.const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений totalConnections.inc(); // Увеличиваем счетчик подключений console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else { clientActions[userId].connected = true; } if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов totalRequests.inc(); // Увеличиваем счетчик запросов // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту //sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ', userId, ' disconnected'); }); }); // Запускаем планировщик для статистики scheduleDailyReset(); // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false }; // Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message)); } console.log('WebSocket сервер запущен через порт 3000'); //============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //================================================================================== // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } } //============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================Объяснение изменений:
-
Импорт метрик: В начале файла осуществляется импорт функциональности для работы с метриками из файла
metrics.js. -
Создание HTTP-сервера для метрик: Добавлен блок для создания HTTP-сервера, который будет предоставлять метрики на
/metrics. -
Инкременты метрик: На события
connectionиmessageдобавлены инкременты для счетчиков подключений и запросов.
Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вы сможете видеть количество подключений и обработанных запросов по адресу
http://localhost:9100/metrics. User: Шаг 4: Настройка Prometheus для сбора метрик Создайте или настройте файл prometheus.yml, чтобы добавить вашу метрику для сбора:global: scrape_interval: 15s
scrape_configs:
- job_name: 'your_application_name'
static_configs:
- targets: ['gpt.loc:9100'] # Адрес и порт вашего сервера метрик
gpt.loc - это домен на локальном сервере. Так правильно? И куда сохранять файл prometheus.yml Assistant: , вы правы! В поле
targetsфайлаprometheus.ymlвы можете указать домен вашего локального сервера, где работает ваш HTTP-сервер для метрик. Если ваш домен —gpt.locи сервер метрик работает на порту9100, то конфигурация будет выглядеть следующим образом:global: scrape_interval: 15s scrape_configs: - job_name: 'your_application_name' static_configs: - targets: ['gpt.loc:9100'] # Адрес и порт вашего сервера метрикКуда сохранять файл
prometheus.yml?Вы можете сохранять файл
prometheus.ymlв любой удобной директории. Но обычно его размещают в директории, где находится бинарный файл Prometheus или в той же директории, где вы хотите запускать Prometheus. Вот несколько советов по организации:-
Корневая директория проекта: Если ваш проект имеет специальную папку, например,
configилиprometheus, вы можете создать файлprometheus.ymlв этой папке../your-project ├── config │ └── prometheus.yml ├── metrics.js ├── call.js └── ... -
Директория Prometheus: Если вы скачали и развернули Prometheus, то можно положить
prometheus.ymlв директорию, где находится исполняемый файл Prometheus. Например:./prometheus ├── prometheus.yml ├── prometheus ├── promtool └── ... -
Запуск Prometheus: Затем, при запуске Prometheus, не забудьте указать путь к этому файлу конфигурации. Например, если вы находитесь в директории, где расположен исполняемый файл Prometheus и ваш файл
prometheus.ymlнаходится в этой же директории, вы можете запустить Prometheus следующим образом:./prometheus --config.file=prometheus.ymlИли, если файл находится в папке
config:./prometheus --config.file=config/prometheus.yml
Запуск Prometheus с конфигурацией
После того как вы создали файл
prometheus.yml, вы можете следующий шаг — это запустить Prometheus с правильной конфигурацией. Убедитесь, что путь к файлу конфигурации указан правильно, чтобы Prometheus смог его найти и применить настройки.Теперь, когда вы запустите Prometheus, он будет опрашивать ваш сервер метрик по адресу
gpt.loc:9100с заданным интервалом (например, каждые 15 секунд) для сбора данных. User: ./prometheus --config.file=prometheus.ymlя должен в консоли перейти в папку prometheus и ввести команду --config.file=prometheus.yml ? Assistant: вы правильно поняли. Чтобы запустить Prometheus с вашим файлом конфигурации
prometheus.yml, выполните следующие шаги:Шаги для запуска Prometheus с конфигурацией
-
Откройте терминал (или командную строку, в зависимости от вашей операционной системы).
-
Перейдите в директорию, где находится исполняемый файл Prometheus. Если вы, например, скачали и распаковали Prometheus в папку с именем
prometheus, то вам нужно выполнить командуcdдля перехода в эту директорию:cd /path/to/prometheusЗамените
/path/to/prometheusна фактический путь к папке, где находится вашprometheusbin. -
Запустите Prometheus с указанием файла конфигурации. Если ваш файл
prometheus.ymlнаходится в той же директории, что и исполняемый файл Prometheus, вы можете запустить команду следующим образом:./prometheus --config.file=prometheus.ymlЕсли файл конфигурации находится в другой папке, укажите путь к нему:
./prometheus --config.file=./config/prometheus.yml # Если файл находится в подпапке config -
После запуска: Если все сделано правильно, вы должны увидеть в терминале информацию о запуске Prometheus и статусе его работы. Обычно он будет слушать HTTP-запросы на порту 9090 по умолчанию.
-
Откройте браузер и перейдите по адресу
http://localhost:9090для доступа к веб-интерфейсу Prometheus, где вы сможете исследовать собранные метрики и настройки.
Получение справки по опциям
Если вам нужно увидеть доступные опции и команды для запуска Prometheus, вы можете запустить команду без параметров:
./prometheusЭто выведет справочную информацию о том, как использовать Prometheus и доступные параметры. User: ввел ./prometheus --config.file=prometheus.yml в итоге "." не является внутренней или внешней командой, исполняемой программой или пакетным файлом. Это в windows
Assistant: вы работаете в Windows, команда для запуска Prometheus немного отличается от команд в Unix-подобных системах (как Linux или macOS). Вот шаги, которые вы можете выполнить:
1. Откройте
Command PromptилиPowerShell- Нажмите
Windows + R, введитеcmdи нажмитеEnterдля открытия командной строки. - Либо нажмите
Windows + Xи выберитеWindows PowerShell.
2. Перейдите в директорию, где находится ваш исполняемый файл Prometheus
Используйте команду
cd, чтобы перейти в каталог, где находится распакованный Prometheus. Например:cd C:\path\to\prometheus3. Запустите Prometheus
Для запуска Prometheus используйте следующую команду (замените путь к конфигурационному файлу на актуальный):
prometheus.exe --config.file=prometheus.yml4. Либо с полным путем:
Если вы не находитесь в той же директории, что и
prometheus.exe, вы можете указать полный путь к файлу:C:\path\to\prometheus\prometheus.exe --config.file=C:\path\to\prometheus\prometheus.ymlПримечания:
- Убедитесь, что вы используете
prometheus.exe, так как на Windows обычно требуется указывать.exeв конце имени исполняемого файла. - Убедитесь, что файл
prometheus.ymlтакже находится в той же директории или используйте полный путь к нему.
5. Проверка работы:
После того как вы запустите Prometheus, вы должны увидеть вывод в консоли, подтверждающий успешный запуск. Откройте браузер и перейдите по адресу
http://localhost:9090, чтобы получить доступ к панели управления Prometheus.Если возникают ошибки, убедитесь, что пути указаны корректно, и что файл конфигурации действительно существует по этому пути. User: Но ведь http://gpt.loc:9100/API/metrics будет общедоступным Assistant: , если вы запускаете ваш сервер метрик на
http://gpt.loc:9100/metrics, это создаст общедоступный эндпоинт, по которому любой, кто знает этот URL, сможет получить доступ к вашим метрикам. Это может быть желаемым или нежелательным, в зависимости от ваших требований к безопасности. Рассмотрим несколько аспектов, связанных с доступностью вашего эндпоинта:Потенциальные проблемы с безопасностью
-
Общедоступность данных: Все данные, которые вы собираете через Prometheus, включая количество подключений и запросов, будут видны любому, кто имеет доступ к вашему методу. Это может предоставить злоумышленникам ценную информацию о работе вашего сервиса.
-
Доступ к API: Если эндпоинт
/metricsдоступен для внешнего мира, это может стать вектором атаки, если ваше приложение уязвимо.
Рекомендации по безопасности
-
Ограничение доступа:
- Firewall: Используйте настройки брандмауэра, чтобы ограничить доступ к вашему серверу метрик только для определенных IP-адресов или диапазонов.
- VPN: Настройте Virtual Private Network (VPN), чтобы доступ к важным метрикам имели только проверенные пользователи.
-
Аутентификация:
- Рассмотрите возможность внедрения аутентификации для защиты ваших эндпоинтов. Вы можете использовать методы аутентификации HTTP-базовой, API-токены или OAuth, чтобы контролировать, кто может видеть метрики.
-
Используйте HTTPS:
- Если сервер доступен через интернет, настройте TLS (HTTPS) для шифрования данных, передаваемых между клиентами и сервером метрик. Это защитит данные от перехвата.
-
Локальная или частная сеть:
- Если метрики не должны быть общедоступными, вы можете запускать сервер метрик только в локальной или частной сети вашего приложения, что значительно повысит безопасность.
-
Настройка Prometheus для внутреннего использования:
- Если вам не нужны общедоступные метрики, просто не открывайте соответствующий порт для внешнего мира. Убедитесь, что Prometheus собирает метрики только из доверенных источников.
Заключение
Обеспечение безопасности любого API и сервисов, включая сбор метрик, — это критически важная задача. Убедитесь, что ваша архитектура и настройки безопасности соответствуют требованиям вашего приложения и могут предотвратить потенциальные угрозы. User: как защитить этот адрес с помощью API-токенов Assistant: защитить ваш эндпоинт сервера метрик (например,
http://gpt.loc:9100/metrics) с использованием API-токенов, вы можете следовать приведенным ниже шагам:1. Генерация API-токена
Сначала вам необходимо сгенерировать токен (или несколько токенов), которые будут использоваться для аутентификации. Это может быть случайная строка определенной длины. Например, в Node.js вы можете сгенерировать токен так:
const crypto = require('crypto'); function generateToken() { return crypto.randomBytes(16).toString('hex'); // Генерирует случайный 32-значный шестнадцатеричный токен } const apiToken = generateToken(); console.log(apiToken); // Запишите этот токен для будущего использования2. Передача токена при запросе
Теперь, когда у вас есть токен, вы должны передавать его каждый раз, когда делаете запрос к эндпоинту
/metrics. Это можно сделать с помощью HTTP-заголовка.3. Внедрение проверки токена на сервере
Измените код вашего
metrics.js(или в том месте, где вы создаете сервер метрик), чтобы добавлять проверку токена. Вот как это можно сделать:const http = require('http'); const { register } = require('./metrics'); // Импортируем метрики const API_TOKEN = 'your_generated_token_here'; // Замените на ваш сгенерированный токен const metricsServer = http.createServer((req, res) => { // Проверяем на наличие заголовка Authorization const token = req.headers['authorization']; if (!token || token !== `Bearer ${API_TOKEN}`) { res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/metrics'); });4. Делайте запрос с API-токеном
Теперь, когда вы совершаете запрос к вашему серверу метрик, вам нужно будет добавить заголовок
Authorization. Пример с использованиемcurl:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/metrics5. Замена токена
Если вы хотите иметь возможность менять токены, можно хранить их в файле или базе данных, а не в коде. Проверьте токен в начале каждого запроса.
6. Безопасность токенов
- Храните токены в безопасном месте: Не сохраняйте токены в коде, который доступен в публичных репозиториях.
- Регулярно меняйте токены: Установите политику замены токенов через определенные промежутки времени.
- Ограничьте токены по правам: Создавайте разные токены для разных пользователей или сервисов с различными уровнями доступа.
Заключение
Теперь ваш сервер метрик защищен с помощью API-токенов. Токены добавляют дополнительный уровень безопасности, требуя аутентификации перед доступом к вашим метрикам. Убедитесь, что вы следуете best practices для работы с токенами и хранилищами чувствительных данных, чтобы обеспечить безопасность вашего приложения. User: Как это защитит http://gpt.loc:9100/metrics, если клиент просто введет это в адресную строку Assistant: ействительно, если клиент просто введет
http://gpt.loc:9100/metricsв адресную строку браузера, он получит доступ к метрикам, если не выполнена проверка на наличие токена аутентификации. Чтобы предотвратить такую ситуацию, вам нужно убедиться, что ваши метрики защищены и пользователи должны аутентифицироваться.Вот несколько шагов, чтобы улучшить безопасность вашего эндпоинта и убедиться, что он доступен только для авторизованных пользователей:
1. Проверка токена в коде сервера
Как уже упоминалось, необходимо добавить проверку токена в код вашего сервера метрик. Если токен не предоставлен или неверен, необходимо возвращать ошибку (например, статус 403 Forbidden).
Пример кода с проверкой токена:
const http = require('http'); const { register } = require('./metrics'); // Импортируем метрики const API_TOKEN = 'your_generated_token_here'; // Замените на ваш сгенерированный токен const metricsServer = http.createServer((req, res) => { // Проверяем на наличие заголовка Authorization const token = req.headers['authorization']; if (!token || token !== `Bearer ${API_TOKEN}`) { // Если токен не указан или неверен, возвращаем 403 Forbidden res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } if (req.url === '/metrics') { res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end(); } }); metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/metrics'); });2. Как это работает
С такой реализацией если кто-то попытается получить доступ к
http://gpt.loc:9100/metricsбез предоставления корректного токена, они получат ответ403 Forbidden. Это значит, что пользователи, которые не имеют правильного токена, не смогут увидеть метрики.3. Использование API-токена
При выполнении запроса к метрикам токен должен быть передан через заголовок
Authorization. Например, для выполнения запроса с помощьюcurlили из вашего клиентского приложения:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/metricsА если кто-то просто введет URL в браузере, он не сможет получить доступ, так как заголовок
Authorizationне будет присутствовать.4. Дополнительные меры безопасности
- TLS/HTTPS: Обязательно используйте HTTPS для защиты данных, передаваемых между клиентом и сервером.
- IP-блокировка: Вы можете добавить дополнительные меры защиты, например, ограничение доступа по IP-адресам (например, разрешить доступ только с определенных адресов).
- Логирование: Логируйте попытки доступа на ваш эндпоинт без токена, чтобы иметь возможность отслеживать несанкционированные попытки.
Заключение
Таким образом, проверка на наличие API-токена защищает ваши метрики, предотвращая доступ к ним для пользователей, которые не имеют правильной аутентификации. Это позволяет избежать несанкционированного доступа и обеспечивает безопасность ваших данных. User: еще раз где и что мне прописать чтобы защитить http://gpt.loc:9100/API/metrics с помощью API токена. У меня уже есть такой файл metrics.js // metrics.js const client = require('prom-client');
// Создаем реестр для метрик const register = new client.Registry();
// Счетчик для общего количества подключений const totalConnections = new client.Counter({ name: 'total_connections', help: 'Total number of client connections', registers: [register] });
// Счетчик для общего количества запросов const totalRequests = new client.Counter({ name: 'total_requests', help: 'Total number of requests processed', registers: [register] });
// Экспортируем реестр и метрики module.exports = { register, totalConnections, totalRequests, };
а в call.js такое
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем модуль http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
// Создаем HTTP-сервер для метрик const metricsServer = http.createServer(async (req, res) => { if (req.url === '/API/metrics') { try { const metrics = await register.metrics(); // Проверяем, возвращает ли это Promise res.setHeader('Content-Type', register.contentType); res.end(metrics); } catch (error) { console.error('Error generating metrics:', error); res.writeHead(500); res.end('Internal Server Error'); } } else { res.writeHead(404); res.end('Not Found'); } });
metricsServer.listen(9100, () => { console.log('Metrics server is running on http://localhost:9100/metrics'); }); ... Assistant: защитить ваш эндпоинт
http://gpt.loc:9100/API/metricsс помощью API-токена, вам необходимо внести несколько изменений в файлcall.js, где у вас уже есть логика HTTP-сервера для генерации метрик. Вот, как это можно сделать:Обновленный файл
call.jsПервое, что нужно сделать, — добавить код для проверки API-токена. Ниже приведён пример, как это можно реализовать:
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); const http = require('http'); // Импортируем модуль http для сервера метрик const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); // Определите ваш API-токен const API_TOKEN = 'your_generated_token_here'; // Замените на ваш действительный токен // Создаем HTTP-сервер для метрик const metricsServer = http.createServer((req, res) => { // Проверка на соответствие URL и заголовка авторизации if (req.url === '/API/metrics') { const token = req.headers['authorization']; // Получаем токен из заголовка // Проверяем правильность токена if (!token || token !== `Bearer ${API_TOKEN}`) { res.writeHead(403, { 'Content-Type': 'text/plain' }); res.end('Forbidden: Invalid or missing API token'); return; } // Если токен корректный, возвращаем метрики res.setHeader('Content-Type', register.contentType); res.end(register.metrics()); } else { res.writeHead(404); res.end('Not Found'); } }); // Запуск сервера метрик на порту 9100 metricsServer.listen(9100, () => { console.log('Metrics server is running on http://gpt.loc:9100/API/metrics'); }); // Остальной код обработки WebSocket-соединений...Объяснение изменений
-
Определение и хранение API-токена:
- Замените
your_generated_token_hereна фактический сгенерированный токен, который вы хотите использовать для аутентификации. Это может быть любой случайный токен, который вы генерируете в вашем коде.
- Замените
-
Проверка токена в заголовке:
- Код проверяет наличие заголовка
Authorization. Если он отсутствует или токен неверен, сервер возвращает статус 403 Forbidden.
- Код проверяет наличие заголовка
-
Отправка метрик:
- Если токен корректный, сервер отправляет метрики, используя зарегистрированные метрики из
prom-client.
- Если токен корректный, сервер отправляет метрики, используя зарегистрированные метрики из
Этап 2: Запрос к серверу метрик
Теперь когда вы хотите получить доступ к метрикам с вашего клиента (например, используя
curl), используйте следующий запрос с указанием заголовкаAuthorization:curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/API/metricsЗавершение
Теперь вы защитили свой эндпоинт
/API/metricsс помощью API-токена. Только те пользователи, которые имеют правильный токен, смогут получить доступ к метрикам, что повышает безопасность вашего приложения. User: curl -H "Authorization: Bearer your_generated_token_here" http://gpt.loc:9100/API/metricsа как открыть http://gpt.loc:9100/API/metrics в браузере с токеном? Assistant:
-
- Assistant
Чтобы открыть URL
http://gpt.loc:9100/API/metricsв браузере с использованием API-токена для аутентификации, можно использовать расширения для браузеров, позволяющие добавлять пользовательские HTTP-заголовки к запросам. Вот несколько способов сделать это:Способы использования токена в браузере
1. Использование расширения для браузера
a. Google Chrome / Firefox
- Для Chrome:
- Установите расширение, например, ModHeader или Requestly из Интернет-магазина Chrome.
- После установки расширения откройте его настройку.
- Добавьте новый заголовок:
- Имя:
Authorization - Значение:
Bearer your_generated_token_here
- Имя:
- Перейдите в ваш браузер и введите
http://gpt.loc:9100/API/metrics. Запрос будет выполнен с указанным заголовком.
b. Firefox:
- Установите расширение Modify Headers или Requestly.
- Настройте заголовок так же, как описано выше для Chrome.
- Перейдите по URL, и ваш заголовок будет включен.
2. Использование инструмента разработки браузера
Если вы используете инструменты разработки (например, в Google Chrome), вы можете:
- Открыть инспектор (F12 или Ctrl+Shift+I).
- Перейти на вкладку "Network".
- Вручную создать запрос. Например, ввести URL в адресной строке, а затем создать запрос с помощью JavaScript в консоли:
fetch('http://gpt.loc:9100/API/metrics', { method: 'GET', headers: { 'Authorization': 'Bearer your_generated_token_here' } }) .then(response => response.text()) .then(data => console.log(data)) .catch(error => console.error('Error:', error)); - Результат будет выведен в консоль браузера.
3. Использование других инструментов, таких как Postman или Insomnia
Вы можете использовать
PostmanилиInsomnia, чтобы сделать запрос с заголовком:- Создайте новый запрос в Postman.
- Выберите метод GET.
- Введите URL:
http://gpt.loc:9100/API/metrics. - Перейдите на вкладку
Headersи добавьте:- Ключ:
Authorization - Значение:
Bearer your_generated_token_here
- Ключ:
- Нажмите
Send, и вы получите ответ.
Заключение
К сожалению, нельзя встроить токены в адресную строку браузера таким же образом, как в
curl, поэтому использование расширений или инструментов таких как Postman — лучший способ добавить авторизацию и получить доступ к вашему защищенному эндпоинту в браузере. - Для Chrome: