Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…

  1. User

    User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');

    // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';

    // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });

    wss.on('connection', (ws, req) => {

    const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;
    //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString());
    const userHeaders = req.headers;
    
    // Проверяем Origin
    if (!checkOrigin(userHeaders.origin, ws)) {
        return; // Если отклонено, выходим из обработчика
    }
    
    // Увеличиваем общий счетчик подключений
    stats.totalConnections++;
    
    console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin);
    
    // Инициализируем состояние клиента, если его еще нет
    if (!clientActions[userId]) {
    	clientActions[userId] = {
    		actions: [], // Массив для хранения действий
    		connected: true, // Статус подключения
        };
    }
    else
    	clientActions[userId].connected = true;
    
    if (!limiters[userId]) { 
      // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id)
    	limiters[userId] = new Bottleneck({
            maxConcurrent: 1, // Максимальное количество одновременных задач
            minTime: 1000, // Минимальное время между запросами в миллисекундах
    	    highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать)
        });
    }
    
    ws.on('message', (message) => {
    	// Проверяем, является ли сообщение экземпляром Buffer
    	if (Buffer.isBuffer(message))
    		message = message.toString(); 
    	try {
    		// Преобразуем строку JSON обратно в объект
    		message = JSON.parse(message); 
    		//Получаем историю чата из запроса
    		let messages = message.messages;
    		// Выполняем валидацию сообщений
    		messages = validateMessages(messages);
    		
    		// Проверяем, остались ли сообщения после валидации
    		if (messages.length === 0) {
    			const response = { code: 2, message: "Нет валидных сообщений для обработки." };
    			sendMessage(ws, response);
    			return;
    		}
    		
    		// Урезаем последнее сообщение до 2000 символов, если оно от клиента
    		if (messages[messages.length - 1].role === 'user') {
    			messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000);
    		}
    		
    		// Увеличиваем общий счетчик запросов
            stats.totalRequests++;
    		
    		// Используем Bottleneck для управления количеством запросов
    		limiters[userId].schedule(() => {
    			// Отправка запроса на сервер чата
    			return call(messages, ws);
    		}).catch(error => {
    			//console.error('Rate limit exceeded, message ignored:', error);
    			const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." };
    			// Отправка ответа клиенту
    			//sendMessage(ws, response);
    		});
    		
    	} catch (error) {
    			console.error('Error parsing JSON:', error);
    			const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    			console.log(response);
    			// Отправка ответа клиенту
    			sendMessage(ws, response);
    	}
    	
    });
    
    ws.on('close', () => {
    	clientActions[userId].connected = false; // Обновление статуса подключения
    	delete clientActions[userId]; // Удаление состояния клиента
    	delete limiters[userId]; // Удаление ограничителя для данного клиента
        console.log('Client ',userId, ' disconnected');
    });
    

    });

    // Запускаем планировщик для статистики scheduleDailyReset();

    // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут

    function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }

    // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(Trying to send message to a closed WebSocket connection.); } }

    // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };

    // Фильтруем массив, оставляя только корректные сообщения
    return messages.filter(message => ajv.validate(schema, message));
    

    }

    console.log('WebSocket сервер запущен через порт 3000');

    //============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================

    // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата

    	console.log('Запрос клиента:', messages[messages.length - 1]); 
    	//throw new Error("Намеренная ошибка для тестирования catch");
        gpt4o({
            messages: messages,
            markdown: false
        }, (result) => {
    		try {
    			if (!result.finish) {
    				// Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления)
    				fullResponse = result.message || "";
    				//console.log(result);
    			} else {
    				// Если завершено, выводим полный ответ
    				let response = { code: 1, message: fullResponse};
    				console.log('Ответ чата: ', response);
    				// Отправка ответа клиенту
    				sendMessage(ws, response);
    			}
    		}
    		catch (callbackError) {
                console.error('Error processing callback result:', callbackError);
                let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                // Отправка ответа клиенту
    			sendMessage(ws, response);
            }
        });
    } catch (error) {
        console.error('Error:', error);
    	let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    	// Отправка ответа клиенту
    	sendMessage(ws, response);
    }
    

    }

    //============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================

    Оцени и проанализируй Assistant: од содержит реализацию WebSocket-сервера, который обеспечивает интерфейс для общения между клиентами и различными AI API (например, GPT-4). Давайте рассмотрим ключевые аспекты и возможные улучшения этого кода.

    Ключевые аспекты:

    1. WebSocket Сервер:

      • Сервер настраивается на прослушивание порта 3000.
      • При подключении клиента обрабатывается его userId, IP-адрес и заголовки.
    2. Клиентские Смещения:

      • Статус подключения клиентов и их действия отслеживаются в объекте clientActions.
      • У каждого клиента есть свой экземпляр Bottleneck для ограничения частоты запросов.
    3. Валидация Входных Данных:

      • Используется Ajv для проверки структуры сообщений, чтобы гарантировать, что они содержат обязательные поля и валидные данные.
    4. Обработка Сообщений:

      • Поступающие сообщения от клиента обрабатываются в ws.on('message', ...).
      • При превышении лимита запросов отправляется предупреждение о превышении.
    5. Отправка Ответов:

      • Ответы клиентам отправляются через ws.send(), и проверяется состояние соединения.
    6. Планировщик Статистики:

      • Запланированы функции для сброса статистики и очистки старых соединений.

    Возможные улучшения:

    1. Логи и Отладка:

      • Лучше использовать логирование с использованием библиотек, таких как winston или pino, вместо консольных логов. Это поможет управлять уровнями логирования и ведением журналов в продакшене.
    2. Обработка Ошибок:

      • Убедитесь, что все возможные ошибки обрабатываются корректно. Например, в функции gpt4o отклоните ненужное условие finish и добавьте конкретные сообщения об ошибках для различных случаев.
    3. Расширяемость API:

      • Вместо жесткой привязки к API можно реализовать полиморфизм, позволив добавлять или заменять AI API с помощью конфигураций.
    4. Безопасность:

      • Аутентификация и авторизация клиентов могут быть улучшены для защиты от несанкционированного доступа.
      • Возможно стоит использовать HTTPS и соблюдать лучшие практики безопасности веб-сокетов.
    5. Кэширование:

      • Если некоторые запросы повторяются, может быть полезно рассмотреть кэширование ответов (например, с использованием Redis), чтобы уменьшить нагрузку на API и увеличить скорость отклика.
    6. Оптимизация Диска:

      • Использование fs для постоянного хранения данных (если это необходимо) должно рассматриваться с точки зрения скорости доступа и возможного кэширования.
    7. Наблюдатели и Системы Уведомлений:

      • Внедрение механизма для оповещения администраторов в случае сбоев или ошибок. Например, с помощью системы мониторинга, такой как Prometheus.
    8. Тестирование:

      • Тесты на уровне единиц и интеграции, чтобы гарантировать, что API и обработка сообщений работают должным образом.

    Заключение:

    В целом, код четко организован и соблюдает многие принципы хорошего проектирования, такие как использование паттернов проектирования и работу с асинхронностью. Однако, существует множество направлений для улучшения, что позволит сделать сервис более надежным, безопасным и удобным для пользователей. User: Prometheus как ее внедрить в мое приложение Assistant: недрение Prometheus в ваше приложение, использующее WebSocket-сервер, может быть осуществлено в несколько этапов. Prometheus — это система мониторинга и оповещения, которая собирает и хранит метрики в виде временных рядов. Она предоставляет удобные возможности визуализации и обработки данных. Давайте рассмотрим шаги по интеграции Prometheus в ваше приложение:

    1. Установка зависимостей

    Для использования Prometheus с Node.js вам понадобится библиотека prom-client. Установите ее с помощью npm:

    npm install prom-client
    

    2. Настройка метрик в вашем приложении

    Добавьте следующий код в ваше приложение для настройки и регистрации метрик:

    const client = require('prom-client');
    
    // Создаем экземпляр реестра метрик
    const register = new client.Registry();
    
    // Определяем метрики
    const httpRequestDurationMicroseconds = new client.Histogram({
        name: 'http_request_duration_seconds',
        help: 'Duration of HTTP requests in seconds',
        labelNames: ['method', 'route', 'code'],
        registers: [register],
    });
    
    const totalConnections = new client.Counter({
        name: 'total_connections',
        help: 'Total number of connections',
        registers: [register],
    });
    
    // Добавим другие метрики по мере необходимости
    // Например, счетчик запросов
    const requestCounter = new client.Counter({
        name: 'total_requests',
        help: 'Total number of requests',
        registers: [register],
    });
    
    // Экспортируем реестр
    module.exports = {
        register,
        httpRequestDurationMicroseconds,
        totalConnections,
        requestCounter,
    };
    
    

    3. Интеграция метрик в WebSocket-сервер

    Добавьте код для обновления метрик в обработчики событий WebSocket:

    // Увеличиваем общий счетчик подключений
    totalConnections.inc();
    console.log('Client connected with user ID:', userId);
    

    В обработчике сообщений:

    ws.on('message', (message) => {
        const start = Date.now();
    
        // Обработка сообщений...
    
        requestCounter.inc(); // Увеличиваем счетчик при получении запроса
    
        // На завершение
        const duration = (Date.now() - start) / 1000; // Продолжительность в секундах
        httpRequestDurationMicroseconds.labels('user', 'your_route', '200').observe(duration);
    });
    

    4. Создание эндпоинта для экспорта метрик

    Создайте HTTP-сервер, который будет предоставлять метрики для Prometheus. Например:

    const http = require('http');
    const { register } = require('./path-to-your-metrics-file'); // Импортируйте реестр метрик
    
    const metricsServer = http.createServer((req, res) => {
        if (req.url === '/metrics') {
            res.setHeader('Content-Type', register.contentType);
            res.end(register.metrics());
        } else {
            res.writeHead(404);
            res.end();
        }
    });
    
    metricsServer.listen(9100, () => {
        console.log('Metrics server is running on http://localhost:9100/metrics');
    });
    

    5. Настройка Prometheus для сбора данных

    Добавьте конфигурацию для Prometheus в файл prometheus.yml. Например:

    global:
      scrape_interval: 15s
    
    scrape_configs:
      - job_name: 'your_application_name'
        static_configs:
          - targets: ['localhost:9100']  # Укажите адрес и порт вашего сервера отображения метрик
    

    6. Запуск Prometheus

    1. Установите Prometheus, если он еще не установлен (вы можете загрузить его с официального сайта).
    2. Запустите Prometheus с помощью:
    prometheus --config.file=prometheus.yml
    

    7. Визуализация метрик

    После этого вы можете получить доступ к интерфейсу Prometheus через веб-браузер на http://localhost:9090, чтобы исследовать собранные метрики.

    Заключение

    Теперь ваше приложение будет генерировать метрики, которые Prometheus сможет собирать и отображать. Вы можете расширять свои метрики по мере необходимости, добавляя больше показателей для более детального мониторинга вашего приложения. User: Можно ли использовать Prometheus для сбора статистики Assistant: , Prometheus идеально подходит для сбора статистики и мониторинга различных аспектов работы вашего приложения, включая:

    Примеры статистики, которую можно собирать с помощью Prometheus:

    1. Метрики производительности:

      • Время выполнения запросов (например, с помощью Histogram).
      • Количество обработанных запросов (например, с помощью Counter).
    2. Статистика соединений:

      • Общее количество подключений клиентов (как в вашем случае с WebSocket).
      • Количество активных соединений в данный момент времени.
    3. Ошибки и сбои:

      • Количество ошибок (например, 4xx и 5xx ошибки).
      • Процент неуспешных запросов.
    4. Использование ресурсов:

      • Потребление CPU и памяти.
      • Использование дискового пространства.
    5. Настраиваемые метрики:

      • Специфические бизнес-метрики, которые имеют смысл для вашего приложения (например, количество зарегистрированных пользователей, количество сообщений в чате и т.д.).

    Как использовать Prometheus для сбора статистики:

    1. Определение метрик: Создайте метрики для различных аспектов работы вашего приложения с помощью библиотеки prom-client, как это было описано ранее. Например, вы можете создать счетчики и гистограммы для отслеживания времени выполнения запросов или количества подключений.

    2. Регистрация метрик: Регистрация метрик в реестре (например, используя prom-client), чтобы Prometheus мог их собирать. В вашем случае это будет происходить через HTTP-эндпоинт, который вы создали для экспорта метрик.

    3. Сбор данных: Настройте Prometheus на регулярный сбор данных с вашего приложения, используя конфигурацию в prometheus.yml. Это может быть сделано путем указания каждого сервиса, из которого вы хотите собирать метрики.

    4. Мониторинг и оповещения: Используйте консоль Prometheus для проверки метрик и визуализации данных, а также настройте оповещения на основе определенных условий (например, если время выполнения запросов превышает предел).

    5. Интеграция с Grafana: Для более удобной визуализации метрик вы можете интегрировать Prometheus с Grafana, которая предоставляет мощные инструменты для построения дашбордов и графиков.

    Пример использования

    Пример может выглядеть так:

    const client = require('prom-client');
    // Создаем реестр для метрик
    const register = new client.Registry();
    
    // Создаем счетчик для общего количества подключений
    const totalConnections = new client.Counter({
        name: 'total_connections',
        help: 'Total number of client connections',
        registers: [register]
    });
    
    // Создаем гистограмму для времени подключения
    const connectionDuration = new client.Histogram({
        name: 'connection_duration_seconds',
        help: 'Histogram of connection durations in seconds',
        registers: [register],
        labelNames: ['userId'],
    });
    
    // При подключении нового клиента
    wss.on('connection', (ws, req) => {
        const startTime = Date.now();
        
        // Обработка подключения
        totalConnections.inc(); // Увеличиваем общий счетчик подключений
    
        ws.on('close', () => {
            const duration = (Date.now() - startTime) / 1000; // Время в секундах
            connectionDuration.labels(userId).observe(duration); // Записываем время подключения
        });
    });
    
    // Экспорт метрик по эндпоинту
    const metricsServer = http.createServer((req, res) => {
        if (req.url === '/metrics') {
            res.setHeader('Content-Type', register.contentType);
            res.end(register.metrics());
        } else {
            res.writeHead(404);
            res.end();
        }
    });
    
    metricsServer.listen(9100);
    

    Заключение

    Prometheus — отличное решение для сбора статистики и мониторинга. Используя его с вашим приложением, вы сможете получить подробную информацию о его работе, отслеживать аномалии, производительность и принятие решений на основе данных. User: Это бесплатный сервис? Assistant: , Prometheus — это бесплатное и с открытым исходным кодом программное обеспечение для мониторинга и оповещения. Оно распространяется под лицензией Apache 2.0, что означает, что вы можете использовать его, изменять и распространять без каких-либо лицензионных сборов, при условии соблюдения условий этой лицензии.

    Основные характеристики Prometheus:

    1. Открытый исходный код: Prometheus полностью открыт, его код доступен на GitHub. Это позволяет сообществу вносить улучшения и новые функции.

    2. Отсутствие лицензионных сборов: У вас нет необходимости платить за использование Prometheus. Вы можете установить и использовать его как на локальном сервере, так и в облачной среде.

    3. Широкий спектр интеграций: Prometheus имеет поддержку множества инструментов и систем (например, Kubernetes, Docker, Node.js и многих других), что делает его очень гибким и подходящим для различных сценариев мониторинга.

    4. Широкое сообщество: Prometheus имеет активное сообщество пользователей и разработчиков, что обеспечивает наличие ресурсов, такого как документация, руководства и примеры использования.

    Дополнительные аспекты:

    • Визуализация: Хотя Prometheus сам по себе предоставляет базовую визуализацию данных, многие пользователи выбирают Grafana или другие инструменты для более сложной визуализации и создания дашбордов. Grafana также является бесплатной и открытой, но существуют платные версии с дополнительными функциями.

    • Облачные решения: Некоторые облачные провайдеры предлагают управляющие решения для Prometheus, которые могут иметь свои собственные тарифы. Например, AWS, Google Cloud и другие предлагают услуги мониторинга с поддержкой Prometheus, и за использование таких услуг могут взиматься дополнительные сборы.

    Таким образом, вы можете использовать Prometheus бесплатно, устанавливая и настраивая его самостоятельно, или воспользоваться управляемыми сервисами, если предпочитаете этот подход и готовы платить за него. User: Т.е. статистика которую собираю я сейчас

    // Увеличиваем общий счетчик запросов stats.totalRequests++;

    // Увеличиваем общий счетчик подключений stats.totalConnections++;

    stats.totalIPBlocks++;

    Будет лишней и все это можно получить через Prometheus? Assistant: , вы правы. Если вы интегрируете Prometheus в ваше приложение и начнете собирать аналогичные метрики с помощью prom-client, вы сможете избавиться от существующих ручных счетчиков статистики, поскольку Prometheus будет автоматически собирать и хранить эту информацию для вас. Давайте рассмотрим, как это может выглядеть и что вам нужно сделать:

    Преимущества использования Prometheus

    1. Автоматизация сбора данных: Вы можете настроить метрики, чтобы они собирались автоматически, и не придется вручную увеличивать счетчики, как в случае с вашим stats объектом.

    2. Хранение историй: Prometheus будет хранить временные ряды данных, что позволит вам отслеживать метрики за длительные периоды времени, настраивать оповещения и анализировать производительность.

    3. Гибкость: Вы можете легко добавлять новые метрики и настраивать их, удаляя ненужные счетчики статистики, которые ранее инициализировали вручную.

    Как это реализовать

    Если вы уже собираете данные с помощью stats, вы можете постепенно заменить их на метрики Prometheus. Вот, как это можно сделать для ваших текущих счетчиков:

    const client = require('prom-client');
    // Создайте реестр метрик
    const register = new client.Registry();
    
    // Счетчик для общего количества подключений
    const totalConnections = new client.Counter({
        name: 'total_connections',
        help: 'Total number of client connections',
        registers: [register]
    });
    
    // Счетчик для общего количества запросов
    const totalRequests = new client.Counter({
        name: 'total_requests',
        help: 'Total number of requests processed',
        registers: [register]
    });
    
    // Счетчик для блокировок по IP
    const totalIPBlocks = new client.Counter({
        name: 'total_ip_blocks',
        help: 'Total number of blocked IP addresses',
        registers: [register]
    });
    
    // При подключении клиента
    wss.on('connection', (ws, req) => {
        totalConnections.inc(); // Увеличиваем счетчик подключений
        // Другой код...
    });
    
    // В обработчике сообщений
    ws.on('message', (message) => {
        totalRequests.inc(); // Увеличиваем счетчик запросов
        // Другой код...
    });
    
    // В случае блокировки IP-адреса
    function blockIP(ip) {
        totalIPBlocks.inc(); // Увеличиваем счетчик блокировок IP
        // Другая логика блокировки...
    }
    

    Итог

    Разумеется, вы можете оставить определенные счетчики, если они по-прежнему нужны для специфических отчетов или метрик, которые не могут быть реализованы через Prometheus. Однако, в случае, если ваши утилиты статистики полностью совпадают с метриками, которые может собирать Prometheus, вы можете упростить свою логику и избавиться от старых счетчиков, полагаясь на систему мониторинга для управления производительностью и статистикой вашего приложения.

    Таким образом, Prometheus позволяет вам сосредоточиться на более важных задачах, избегая ручного управления метриками и улучшая весь процесс мониторинга и анализа. User: Давай с начала. Вот мой код в файле call.js

    const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');

    // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';

    // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });

    wss.on('connection', (ws, req) => {

    const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;
    //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString());
    const userHeaders = req.headers;
    
    // Проверяем Origin
    if (!checkOrigin(userHeaders.origin, ws)) {
        return; // Если отклонено, выходим из обработчика
    }
    
    // Увеличиваем общий счетчик подключений
    stats.totalConnections++;
    
    console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin);
    
    // Инициализируем состояние клиента, если его еще нет
    if (!clientActions[userId]) {
    	clientActions[userId] = {
    		actions: [], // Массив для хранения действий
    		connected: true, // Статус подключения
        };
    }
    else
    	clientActions[userId].connected = true;
    
    if (!limiters[userId]) { 
      // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id)
    	limiters[userId] = new Bottleneck({
            maxConcurrent: 1, // Максимальное количество одновременных задач
            minTime: 1000, // Минимальное время между запросами в миллисекундах
    	    highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать)
        });
    }
    
    ws.on('message', (message) => {
    	// Проверяем, является ли сообщение экземпляром Buffer
    	if (Buffer.isBuffer(message))
    		message = message.toString(); 
    	try {
    		// Преобразуем строку JSON обратно в объект
    		message = JSON.parse(message); 
    		//Получаем историю чата из запроса
    		let messages = message.messages;
    		// Выполняем валидацию сообщений
    		messages = validateMessages(messages);
    		
    		// Проверяем, остались ли сообщения после валидации
    		if (messages.length === 0) {
    			const response = { code: 2, message: "Нет валидных сообщений для обработки." };
    			sendMessage(ws, response);
    			return;
    		}
    		
    		// Урезаем последнее сообщение до 2000 символов, если оно от клиента
    		if (messages[messages.length - 1].role === 'user') {
    			messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000);
    		}
    		
    		// Увеличиваем общий счетчик запросов
            stats.totalRequests++;
    		
    		// Используем Bottleneck для управления количеством запросов
    		limiters[userId].schedule(() => {
    			// Отправка запроса на сервер чата
    			return call(messages, ws);
    		}).catch(error => {
    			stats.totalIPBlocks++;
    			//console.error('Rate limit exceeded, message ignored:', error);
    			const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." };
    			// Отправка ответа клиенту
    			//sendMessage(ws, response);
    		});
    		
    	} catch (error) {
    			console.error('Error parsing JSON:', error);
    			const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    			console.log(response);
    			// Отправка ответа клиенту
    			sendMessage(ws, response);
    	}
    	
    });
    
    ws.on('close', () => {
    	clientActions[userId].connected = false; // Обновление статуса подключения
    	delete clientActions[userId]; // Удаление состояния клиента
    	delete limiters[userId]; // Удаление ограничителя для данного клиента
        console.log('Client ',userId, ' disconnected');
    });
    

    });

    // Запускаем планировщик для статистики scheduleDailyReset();

    // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут

    function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }

    // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(Trying to send message to a closed WebSocket connection.); } }

    // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };

    // Фильтруем массив, оставляя только корректные сообщения
    return messages.filter(message => ajv.validate(schema, message));
    

    }

    console.log('WebSocket сервер запущен через порт 3000');

    //============== ВЫЗОВ API МОДЕЛЕЙ ================================================= //================================================================================== //================================================================================== //==================================================================================

    // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата

    	console.log('Запрос клиента:', messages[messages.length - 1]); 
    	//throw new Error("Намеренная ошибка для тестирования catch");
        gpt4o({
            messages: messages,
            markdown: false
        }, (result) => {
    		try {
    			if (!result.finish) {
    				// Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления)
    				fullResponse = result.message || "";
    				//console.log(result);
    			} else {
    				// Если завершено, выводим полный ответ
    				let response = { code: 1, message: fullResponse};
    				console.log('Ответ чата: ', response);
    				// Отправка ответа клиенту
    				sendMessage(ws, response);
    			}
    		}
    		catch (callbackError) {
                console.error('Error processing callback result:', callbackError);
                let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                // Отправка ответа клиенту
    			sendMessage(ws, response);
            }
        });
    } catch (error) {
        console.error('Error:', error);
    	let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    	// Отправка ответа клиенту
    	sendMessage(ws, response);
    }
    

    }

    //============== ВЫЗОВ API МОДЕЛЕЙ (КОНЕЦ) ======================

    Нужно внедрить Prometheus для сбора статистика - общее количество подключений и общее количество запросов. Опиши в каких файлах и что надо писать Assistant: внедрить Prometheus для сбора статистики, включая общее количество подключений и общее количество запросов в ваше приложение, вам нужно будет внести изменения в несколько файлов. Вот шаги, которые вам нужно выполнить:

    Шаг 1: Установка зависимости prom-client

    Если вы еще не установили prom-client, выполните следующую команду в терминале:

    npm install prom-client
    

    Шаг 2: Создание файла метрик

    Создайте новый файл (например, metrics.js) в корневой папке вашего проекта, чтобы настроить и зарегистрировать метрики:

    // metrics.js
    const client = require('prom-client');
    
    // Создаем реестр для метрик
    const register = new client.Registry();
    
    // Счетчик для общего количества подключений
    const totalConnections = new client.Counter({
        name: 'total_connections',
        help: 'Total number of client connections',
        registers: [register]
    });
    
    // Счетчик для общего количества запросов
    const totalRequests = new client.Counter({
        name: 'total_requests',
        help: 'Total number of requests processed',
        registers: [register]
    });
    
    // Экспортируем реестр и метрики
    module.exports = {
        register,
        totalConnections,
        totalRequests,
    };
    

    Шаг 3: Внедрение метрик в ваш основной файл (call.js)

    Импортируйте metrics.js в ваш основной файл (например, call.js) и интегрируйте метрики в обработчики событий WebSocket:

    // В начале файла call.js
    const { totalConnections, totalRequests, register } = require('./metrics'); // Импортируем метрики
    const http = require('http'); // Импортируем http для сервера метрик
    
    // После создания WebSocket-сервера добавьте код для HTTP-сервера метрик 
    const metricsServer = http.createServer((req, res) => {
        if (req.url === '/metrics') {
            res.setHeader('Content-Type', register.contentType);
            res.end(register.metrics());
        } else {
            res.writeHead(404);
            res.end();
        }
    });
    
    metricsServer.listen(9100, () => {
        console.log('Metrics server is running on http://localhost:9100/metrics');
    });
    
    // Внедряем метрики в обработчики событий
    wss.on('connection', (ws, req) => {
        // Увеличиваем общий счетчик подключений
        totalConnections.inc(); // Увеличиваем счетчик подключений
    
        // Остальной код обработки подключения...
    });
    
    ws.on('message', (message) => {
        // Увеличиваем общий счетчик запросов
        totalRequests.inc(); // Увеличиваем счетчик запросов
    
        // Остальной код обработки сообщений...
    });
    

    Шаг 4: Настройка Prometheus для сбора метрик

    Создайте или настройте файл prometheus.yml, чтобы добавить вашу метрику для сбора:

    global:
      scrape_interval: 15s
    
    scrape_configs:
      - job_name: 'your_application_name'
        static_configs:
          - targets: ['localhost:9100']  # Адрес и порт вашего сервера метрик
    

    Шаг 5: Запуск Prometheus

    1. Убедитесь, что у вас установлен Prometheus. Если еще не установлен, вы можете скачать его с официального сайта.
    2. Запустите Prometheus с конфигурацией, созданной на предыдущем шаге:
    prometheus --config.file=prometheus.yml
    

    Шаг 6: Проверка

    Теперь, когда ваше приложение запущено, вы сможете проверить ваш HTTP-сервер метрик, открыв http://localhost:9100/metrics в браузере, и вы должны увидеть ваши метрики total_connections и total_requests там.

    Заключение

    Теперь ваше приложение будет собирать статистику с помощью Prometheus, и вам больше не нужно будет обновлять счетчики в stats, поскольку Prometheus автоматически обрабатывает эти данные. Также вы можете добавлять другие метрики по мере необходимости, просто определяя их в файле metrics.js. User: что означает global: scrape_interval: 15s Assistant:

  2. Assistant

    В конфигурационном файле Prometheus prometheus.yml секция global определяет настройки по умолчанию для всех заданий сбора метрик (scrape jobs). Конкретно, параметр scrape_interval определяет, как часто Prometheus будет запрашивать метрики у указанных целей (targets).

    Расшифровка параметра scrape_interval:

    • scrape_interval: Это интервал времени, в течение которого Prometheus будет обращаться к целям для сбора метрик. Значение 15s означает, что Prometheus будет запрашивать метрики у всех целевых сервисов каждые 15 секунд.

    Где может быть полезен параметр scrape_interval:

    1. Частота обновления данных: Если вы установите интервал на слишком маленькое значение (например, 1 секунду), это может привести к высокому потреблению ресурсов как на стороне Prometheus, так и на стороне целевых сервисов. Обратное также верно: слишком большой интервал может сделать данные устаревшими.

    2. Мониторинг производительности: Настройка правильной частоты сбора данных поможет вам получать актуальные данные для мониторинга производительности вашего приложения или инфраструктуры.

    3. Адаптация под бизнес-потребности: Если ваш сервис требует более частой проверки состояния (например, критические сервисы), вы можете настроить меньший интервал. Однако для менее критичных или менее загруженных сервисов можно установить больший интервал.

    Пример:

    global:
      scrape_interval: 15s  # По умолчанию, каждые 15 секунд
      evaluation_interval: 15s # Интервал оценки правил оповещения
    

    В этом примере Prometheus будет каждый 15 секунд запрашивать данные метрик у всех настроенных целей и одновременно оценивать правила оповещения за тот же интервал времени.

    Заключение:

    Параметр scrape_interval является важным для настройки частоты сбора метрик и напрямую влияет на эффективность мониторинга вашего приложения и инфраструктуры.