User: Файл stats.js const fs = require('fs'); const path = require('path'); //…
- User
User: Файл stats.js
const fs = require('fs'); const path = require('path');
// Количество дней для статистики const statsDays = 365; // Можно сделать глобальной переменной, если нужно передавать со стороны
// Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0] // Начальная дата - текущая };
// Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json');
// Считываем существующие данные из файла let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } // Создаем объект с текущей статистикой const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks }; // Добавляем текущую статистику existingData.push(currentStat); // Удаляем старые записи, если их больше statsDays if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); // сохраняем только последние statsDays записей } // Сохраняем обновленные данные fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Форматируем JSON для удобочитаемости // Логируем только текущую статистику console.log('Статистика сохранена:', currentStat);}
// Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.date = new Date().toISOString().split('T')[0]; // Обновляем дату }
// Функция для вычисления времени до следующего обнуления (в полночь). Сохраняет раз в сутки function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); // Устанавливаем на полночь следующего дня
const delay = nextReset - now; setTimeout(() => { resetStatistics(); // Обнуляем статистику в полночь setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал }, delay);}
// Сохраняет раз в 20 секунд /function scheduleDailyReset() { // Запланировать первую запись через 20 секунд setTimeout(() => { resetStatistics(); // первая запись статистики // Устанавливаем интервал на 2 минут для последующих записей setInterval(resetStatistics, 20 * 1000); }, 20 * 1000); // 20 секунд }/
// Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, };
Файл call.js
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 1 минуту
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
Надо расширить функцию сбора статистики (stats.js), теперь нужно записывать в отдельный json файл все IP адреса с которых подключаются клиенты. Нужно записывать сам IP и количество подключений. Assistant: расширить функцию сбора статистики в файле
stats.jsи записывать IP-адреса клиентов вместе с количеством подключений, выполните следующие шаги:- Создайте новый объект для хранения статистики по IP-адресам.
- Увеличивайте счетчик для каждого IP-адреса при каждом новом подключении.
- Сохраняйте статистику по IP-адресам в отдельный JSON файл.
Вот как можно изменить ваш код в
stats.js:const fs = require('fs'); const path = require('path'); // Количество дней для статистики const statsDays = 365; // Можно сделать глобальной переменной, если нужно передавать со стороны // Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0], // Начальная дата - текущая ipStatistics: {} // Для хранения статистики по IP }; // Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json'); // Считываем существующие данные из файла let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } // Создаем объект с текущей статистикой const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks, ipStatistics: { ...stats.ipStatistics } // Копируем статистику по IP }; // Добавляем текущую статистику existingData.push(currentStat); // Удаляем старые записи, если их больше statsDays if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); // Сохраняем только последние statsDays записей } // Сохраняем обновленные данные fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Форматируем JSON для удобочитаемости // Логируем только текущую статистику console.log('Статистика сохранена:', currentStat); // Сохраняем статистику по IP в отдельный файл saveIpStatistics(); } // Функция для сохранения статистики по IP function saveIpStatistics() { const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json'); // Сохраняем статистику по IP в файл fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); // Форматируем JSON для удобочитаемости } // Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.ipStatistics = {}; // Обнуляем статистику по IP stats.date = new Date().toISOString().split('T')[0]; // Обновляем дату } // Функция для вычисления времени до следующего обнуления (в полночь). Сохраняет раз в сутки function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); // Устанавливаем на полночь следующего дня const delay = nextReset - now; setTimeout(() => { resetStatistics(); // Обнуляем статистику в полночь setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал }, delay); } // Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount: (ip) => { // Увеличиваем счетчик подключений для IP-адреса if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = 1; } else { stats.ipStatistics[ip]++; } } };Теперь необходимо добавить в ваш файл
call.jsвызов функцииincrementIpCountизstats.js, когда происходит новое подключение клиента. Обновите блокwss.on('connection', (ws, req) => { ... })следующим образом:wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; // Увеличиваем количество подключений для IP адреса stats.incrementIpCount(userIP); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); // ... остальной код });С этими изменениями ваша система теперь будет отслеживать подключения по IP-адресам и сохранять эту информацию в отдельный файл
ip_statistics.json. User: Правильно я понимаю? Если это новый IP, то он добавляется в файл статистики со значением 1, если IP подключается повторно, то он уже есть в файле и счетчик просто увеличивается Assistant: , вы понимаете правильно! Логика работает следующим образом:- Когда новое подключение клиента происходит, функция
incrementIpCountпроверяет, есть ли IP-адрес уже в объектеipStatistics:- Если IP-адреса еще нет, он добавляется в объект
ipStatisticsс начальным значением 1. - Если IP-адрес уже существует, счетчик подключений для этого IP-адреса увеличивается на 1.
- Если IP-адреса еще нет, он добавляется в объект
Таким образом, файл
ip_statistics.jsonбудет содержать IP-адреса с соответствующими счетчиками, показывающими количество подключений для каждого адреса. Это позволяет отслеживать, сколько раз каждый IP-адрес подключался к вашему серверу.Вот основной код, который отвечает за это:
// Увеличиваем счетчик подключений для IP-адреса if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = 1; // Если IP новый, устанавливаем значение 1 } else { stats.ipStatistics[ip]++; // Если IP уже существует, увеличиваем счетчик }И в результате файл
ip_statistics.jsonбудет выглядеть примерно так:{ "192.168.0.1": 3, "192.168.0.2": 1, "10.0.0.1": 5 }Это означает, что IP-адрес
192.168.0.1подключался 3 раза,192.168.0.2— 1 раз, а10.0.0.1— 5 раз. User: надо расширить эту статистику. нужно чтобы по каждому IP дополнительно сохранялась статистика для каждого userId. Это на случай если с одного IP подключаются несколько пользователей. Т.е. в файле статистики хранится общее количество подключений с IP и количество подключений по каждому userId, которые подключались с этого IP, примерно так{ {"192.168.0.1": 3, {"userId1": 2, "userId2": 10, ...}}, {"192.168.0.2": 1,{"userId1": 2, "userId2": 10, ...}}, {"10.0.0.1": 5, {"userId1": 2, "userId2": 10, ...}} } Assistant: расширить вашу статистику таким образом, чтобы она учитывала количество подключений по каждому
userIdдля каждого IP-адреса, вам нужно немного изменить структуру объектаipStatisticsи обновить логику для учетаuserId.Изменения в
stats.js- Измените структуру
ipStatistics, добавив возможность хранения данных оuserIdдля каждого IP-адреса.
Вот измененный код:
const fs = require('fs'); const path = require('path'); // Количество дней для статистики const statsDays = 365; // Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0], ipStatistics: {} // Для хранения статистики по IP }; // Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json'); let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks, ipStatistics: { ...stats.ipStatistics } }; existingData.push(currentStat); if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); } fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); console.log('Статистика сохранена:', currentStat); saveIpStatistics(); } // Функция для сохранения статистики по IP function saveIpStatistics() { const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json'); fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); } // Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.ipStatistics = {}; stats.date = new Date().toISOString().split('T')[0]; } // Функция для вычисления времени до следующего обнуления (в полночь) function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); const delay = nextReset - now; setTimeout(() => { resetStatistics(); setInterval(resetStatistics, 24 * 60 * 60 * 1000); }, delay); } // Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount: (ip, userId) => { // Увеличиваем счетчик подключений для IP-адреса if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = { total: 1, userIds: {} // Объект для хранения количества подключений для каждого userId }; stats.ipStatistics[ip].userIds[userId] = 1; // Первый раз добавляем userId } else { stats.ipStatistics[ip].total++; // Увеличиваем общее количество подключений для IP // Увеличиваем счетчик подключений для конкретного userId if (!stats.ipStatistics[ip].userIds[userId]) { stats.ipStatistics[ip].userIds[userId] = 1; // Если userId новый, устанавливаем значение 1 } else { stats.ipStatistics[ip].userIds[userId]++; // Если userId уже существует, увеличиваем счетчик } } } };Изменения в
call.jsТеперь вы должны добавить вызов функции
incrementIpCountсuserIdпри подключении клиента:wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; // Увеличиваем количество подключений для IP адреса с учетом userId stats.incrementIpCount(userIP, userId); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); // ... остальной код });Получившаяся структура файла
ip_statistics.jsonВаш файл
ip_statistics.jsonтеперь будет иметь следующую структуру:{ "192.168.0.1": { "total": 3, "userIds": { "userId1": 2, "userId2": 1 } }, "192.168.0.2": { "total": 1, "userIds": { "userId1": 1 } }, "10.0.0.1": { "total": 5, "userIds": { "userId1": 2, "userId3": 3 } } }Теперь для каждого IP-адреса хранится общее количество подключений (
total) и количество подключений по каждомуuserId. Эта структура позволит вам более детально анализировать активность пользователей по IP-адресам. User: Какую еще статистику можно собрать в рамках такой структуры? Assistant: уществует множество вариантов статистики, которые могут быть полезны для вашего приложения, особенно если вы хотите анализировать поведение пользователей и взаимодействия с вашим сервером. Вот несколько идей, которые вы можете рассмотреть:-
Частота подключений:
- Сохранять информацию о времени каждого подключения для анализа пиковых периодов активности.
-
Длительность сессий:
- Отслеживать время, в течение которого пользователи остаются подключенными, что позволит оценить продолжительность взаимодействия.
-
Количество и типы запросов:
- Вести учет различных типов запросов, например, каких конкретно действий пользователи пытаются выполнить через WebSocket, и подсчитывать количество запросов для каждого типа.
-
Ошибки и сбои:
- Записывать количество ошибок или исключений, которые происходят в процессе работы, а также типы этих ошибок. Это поможет в выявлении уязвимостей и в общем улучшении качества приложения.
-
Загруженность по IP:
- Сохранять информацию о количестве подключений из одного IP за определенный период времени, чтобы выявлять подозрительную активность (например, DDoS-атаки).
-
Анализ времени ответа:
- Фиксировать время, необходимое для обработки запросов, чтобы понимание производительности сервера.
-
Статистика по регионам:
- Определить географическое местоположение IP-адресов и собирать статистику по регионам, чтобы узнать, откуда идут пользователи.
-
Профили пользователей:
- Составлять краткие профили пользователей на основе их поведения, например, какие функции они используют чаще всего.
-
История действий пользователей:
- Записывать последовательность действий каждого пользователя, что может помочь в анализе пользовательского опыта.
-
Количество уникальных пользователей:
- Хранить данные о том, сколько уникальных пользователей подключалось за определенный срок (день, неделя, месяц).
Пример расширенной структуры для статистики
Если вы решите собирать дополнительную информацию, структура может выглядеть следующим образом:
{ "192.168.0.1": { "total": 3, "sessionDuration": { "userId1": [150, 120], // Массив с длительностью сессий в секундах "userId2": [80] }, "requestCounts": { "userId1": { "type1": 2, "type2": 1 }, "userId2": { "type1": 3 } }, "errors": { "userId1": 1, // Количество ошибок "userId2": 0 }, "connectionTimes": [ "2023-10-01T12:00:00Z", // Временные метки подключений "2023-10-01T12:05:00Z" ] }, ... }Как это реализовать
- Запись времени подключений: Добавляйте временные метки в массив
connectionTimesдля каждого IP при каждом соединении. - Длительность сессий: Когда пользователь отключается, вы можете записывать продолжительность сессии на основе времени подключения и отключения.
- Типы запросов: Создайте объект для подсчета запросов по пользователям и типам действий.
Сбор и анализ этих данных может помочь вам лучше понять пользователей, улучшить пользовательский опыт и оптимизировать работу вашего сервера. User: что из всего этого я могу получить из яндекс метрики Assistant: ндекс.Метрика предоставляет широкий спектр возможностей для сбора и анализа статистики о посещаемости вашего веб-сайта. Вот некоторые данные, которые вы можете получить из Яндекс.Метрики, и которые могут быть полезны для понимания поведения пользователей:
-
Посещаемость:
- Общее количество посетителей вашего сайта, включая уникальных и повторных пользователей.
- Число новых и возвращающихся пользователей.
-
Источники трафика:
- Откуда приходят ваши пользователи: поисковые системы, прямые заходы, социальные сети или реферальные ссылки.
-
География пользователей:
- Ошибки с определением местоположения пользователей по IP. Вы можете видеть, из каких стран или городов приходят посетители.
-
Данные о поведении:
- Средняя длительность сессий, глубина просмотра (количество страниц за сессию), показатели отказов (процент пользователей, покинувших сайт после просмотра только одной страницы).
-
Устройства и браузеры:
- Данные о том, какие устройства (мобильные, планшеты или десктоп) и браузеры используют ваши пользователи.
-
Карты кликов и скролла:
- Визуализация того, где пользователи нажимают на странице и как далеко они прокручивают страницу.
-
Элементы управления событиями:
- Вы можете отслеживать пользовательские взаимодействия с определенными элементами на странице, такими как кнопки, видео, формы и другие элементы.
-
Время на сайте:
- Анализ среднего времени, проведенного пользователями на сайте, а также времени, проведенного на отдельных страницах.
-
Воронки продаж:
- С помощью воронок вы можете отслеживать, как пользователи проходят через различные этапы сайта, например, от просмотра продукта к покупкам.
-
Анализ целевых действий:
- Возможность отслеживания выполнения целевых действий, таких как регистрации, покупки и другие действия, которые вы хотели бы отслеживать.
Чего не предоставляет Яндекс.Метрика
С точки зрения индивидуального пользователя и деталей, которые вы собираете через свою собственную инфраструктуру (например, с помощью WebSocket), Яндекс.Метрика не дает возможности:
-
Идентификация конкретных пользователей: Вы не сможете привязать действия к конкретным идентификаторам пользователей (userId), поскольку Яндекс.Метрика анонимизирует данные.
-
Данные о подключениях по IP: Хотя вы можете увидеть общие данные о географии, конкретные детали о количестве подключений с определенного IP-адреса или статистику по отдельным IP вам не будут доступны.
-
Информация о сессиях: Вы не получите подробной информации о времени сессий и продолжительности каждого отдельного подключения, что важно для анализа, например, сессий в реальном времени.
-
Ошибки и исключения: Если на вашем сервере происходят ошибки, методы отладки и анализа их в Яндекс.Метрике будут ограничены.
Вывод
Яндекс.Метрика отлично подходит для общего анализа посещаемости и поведения пользователей, однако данные, которые вы собираете через свою систему (через WebSocket и API), будут более детализированными и специфичными для вашего приложения. Лучше всего использовать обе системы в сочетании: Яндекс.Метрику для получения общей картины и ваши собственные методы сбора данных для глубинного анализа действий пользователей. User: Из всего того, что ты предложил для сбора статистики оставь только то, что не нельзя получить из яндекс метрики и надо писать самому Assistant: статистических данных, которые вы можете собрать самостоятельно и которые, как правило, недоступны в Яндекс.Метрике:
-
Количество подключений по каждому userId:
- Учитывайте подключения для каждого пользователя из различных IP-адресов. Это позволяет отслеживать активность пользователей на более детальном уровне.
-
Длительность сессий:
- Записывайте, сколько времени каждый пользователь проводит в состоянии подключения. Это позволяет оценить, насколько долго пользователи взаимодействуют с вашим приложением.
-
Частота подключений:
- Сохраняйте временные метки всех подключений, чтобы проанализировать пиковые часы активности для каждого пользователя.
-
Ошибки и сбои:
- Отслеживайте количество ошибок, которые возникают в процессе работы вашего приложения, и фиксируйте их типы. Это помогает в выявлении проблем и уязвимостей.
-
Типы запросов/действий пользователей:
- Записывайте различные типы запросов, которые выполняют пользователи в вашем приложении (например, вызовы различных API). Это даст вам представление о том, какие функции наиболее востребованы.
-
Анализ времени реакции:
- Измеряйте время, которое требуется вашему серверу для обработки запросов от пользователей. Это полезно для оптимизации производительности приложения.
-
Загруженность по IP:
- Сохраняйте данные о количестве подключений с одного IP-адреса за определенный период времени для выявления потенциальных проблем, таких как DDoS-атаки.
-
История действий пользователей:
- Фиксируйте последовательность действий каждого пользователя в реальном времени (например, какие команды отправляют через WebSocket), что поможет лучше понять их взаимодействие с приложением.
-
Профили пользователей:
- Создайте профили пользователей на основе их поведения, включая количество подключений, активные периоды и типы используемых функций.
Собирая такую информацию, вы сможете получить более детализированную картину поведения пользователей в вашем приложении, что поможет вам лучше понять их потребности и оптимизировать работу приложения. User: Нужно расширить мою статистику. Нужно собирать статистику количества запросов в течение сессии, ее начало, конец и продолжительность по каждому userId. Итоге в статистике должна быть информация об общем количестве подключений по IP, общее количество подключений по каждому userid подключающихся с этого IP, плюс по каждому userid статистика о 10 последних сессиях (количества запросов в течение сессии, ее начало, конец и продолжительность). Assistant: расширить вашу статистику для сбора данных о сессиях пользователей, вам нужно будет внести изменения в текущую структуру данных. Давайте разобьём это на поэтапные изменения для файла
stats.js.Шаг 1: Обновление структуры данных
Мы добавим новую структуру для хранения информации о сессиях пользователей, включая количество запросов, время начала и окончания сессий, а также их продолжительность. Мы также добавим информацию о подключениях по IP и статистику по каждому
userId.Вот обновленная структура кода в
stats.js:const fs = require('fs'); const path = require('path'); // Количество дней для статистики const statsDays = 365; // Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0], ipStatistics: {} // Для хранения статистики по IP }; // Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json'); let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks, ipStatistics: { ...stats.ipStatistics } }; existingData.push(currentStat); if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); } fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); console.log('Статистика сохранена:', currentStat); saveIpStatistics(); } // Функция для сохранения статистики по IP function saveIpStatistics() { const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json'); fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); } // Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.ipStatistics = {}; stats.date = new Date().toISOString().split('T')[0]; } // Функция для вычисления времени до следующего обнуления (в полночь) function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); const delay = nextReset - now; setTimeout(() => { resetStatistics(); setInterval(resetStatistics, 24 * 60 * 60 * 1000); }, delay); } // Подсчет подключений и сессий function incrementIpCount(ip, userId, sessionData) { if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = { total: 1, userIds: {} // Объект для хранения количества подключений для каждого userId }; stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] // Массив для хранения сессий }; } else { stats.ipStatistics[ip].total++; // Увеличиваем общее количество подключений для IP if (!stats.ipStatistics[ip].userIds[userId]) { // Если userId новый stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] }; } else { // Увеличиваем счетчик подключений для конкретного userId stats.ipStatistics[ip].userIds[userId].count++; } } // Сохраняем сессию if (sessionData) { stats.ipStatistics[ip].userIds[userId].sessions.push(sessionData); // Оставляем только 10 последних сессий if (stats.ipStatistics[ip].userIds[userId].sessions.length > 10) { stats.ipStatistics[ip].userIds[userId].sessions.shift(); // Удаляем самую старую сессию } } } // Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount };Шаг 2: Модификация подписки на события WebSocket
Теперь, когда мы определили структуру, необходимо изменить
call.js, чтобы записывать данные сессий, включая время начала и конца сессии, а также количество запросов в течение сессии:wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; // Объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId stats.incrementIpCount(userIP, userId); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); ws.on('message', (message) => { // Обрабатываем сообщения... sessionData.requestCount++; // Увеличиваем количество запросов в сессии // Ваш существующий обработчик сообщений и вызов API... }); ws.on('close', () => { sessionData.endTime = new Date().toISOString(); // Фиксируем время окончания сессии // Расчет продолжительности сессии (если время начала и окончания установлены) if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Время в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии console.log('Client disconnected:', userId); }); });Итоговая структура данных
Теперь ваша статистика будет содержать следующую информацию по каждому IP:
- Общее количество подключений.
- Общее количество подключений по каждому
userId. - Последние 10 сессий для каждого
userId, включающие:requestCount: количество запросов во время сессии.startTime: время начала сессии.endTime: время окончания сессии.duration: продолжительность сессии в секундах.
Пример данных
Структура вашего файла
ip_statistics.jsonможет выглядеть следующим образом:{ "192.168.0.1": { "total": 3, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 5, "startTime": "2023-10-01T12:00:00Z", "endTime": "2023-10-01T12:20:00Z", "duration": 1200 }, { "requestCount": 3, "startTime": "2023-10-01T13:00:00Z", "endTime": "2023-10-01T13:10:00Z", "duration": 600 } ] }, "userId2": { "count": 1, "sessions": [ { "requestCount": 10, "startTime": "2023-10-01T14:00:00Z", "endTime": "2023-10-01T14:30:00Z", "duration": 1800 } ] } } } }С такой структурой вы сможете легко анализировать активность пользователей и иметь полную информацию о каждой сессии. User: Подробнее это место
ws.on('message', (message) => { // Обрабатываем сообщения... sessionData.requestCount++; // Увеличиваем количество запросов в сессии
// Ваш существующий обработчик сообщений и вызов API... });как изменится мой код
ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages);
// Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } });Assistant: обновить обработчик сообщений
ws.on('message', (message) => {...})с учетом сбора статистики сессий, вам нужно внести несколько изменений. Вам нужно установить инкремент счетчика запросов для текущей сессии, а также передать информацию о сессии в код вызывающего API.Вот модифицированное место в вашем коде:
ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) { message = message.toString(); } try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Увеличиваем количество запросов для текущей сессии sessionData.requestCount++; // Инкрементируем количество запросов для текущей сессии // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } });Что изменилось:
- Увеличение счетчика запросов в сессии:
- Добавлена строка
sessionData.requestCount++;, которая увеличивает количество запросов для текущей сессии. Это должно происходить после валидации сообщения, но перед вызовом отправки на сервер.
- Добавлена строка
Полный контекст сессии
Не забудьте, что вам необходимо в начале обработки подключений (обычно в самом первом обработчике
ws.on('connection', ...)) создать объектsessionData, чтобы он был доступен при обработке каждого сообщения:wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId stats.incrementIpCount(userIP, userId); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer // (оставьте остальную логику, как прежде) // Увеличиваем количество запросов для текущей сессии sessionData.requestCount++; // Это обновлено выше // Ваш существующий код... }); ws.on('close', () => { sessionData.endTime = new Date().toISOString(); // Фиксируем время окончания сессии if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Время в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии console.log('Client disconnected:', userId); }); });Заботьтесь о том, чтобы все переменные вашей сессии корректно сохранялись и передавались в нужные процедуры. Это обеспечит возможность анализа активности пользователей и их запросов в реальном времени. User: Подробнее это
ws.on('close', () => { sessionData.endTime = new Date().toISOString(); // Фиксируем время окончания сессии if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Время в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии console.log('Client disconnected:', userId); });
как изменится мой код
ws.on('close', () => { clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); }); Assistant: интегрировать сбор статистики сессий в обработчик события
ws.on('close', ...), вам нужно внести некоторые изменения в код. Это изменение будет фиксировать время окончания сессии, рассчитывать продолжительность сессии и сохранять эти данные вместе с информацией о количестве запросов и других атрибутах.Вот как может выглядеть измененный обработчик
ws.on('close', ...):ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии // Обновление статуса подключения и очистка clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); });Изменения:
-
Фиксация времени окончания сессии:
sessionData.endTime = new Date().toISOString();— здесь мы записываем текущее время, чтобы указать, когда сессия закончилась.
-
Расчет продолжительности сессии:
- Проверяем, установлены ли
startTimeиendTime. Если оба значения присутствуют, мы создаем новые объектыDateдля расчета продолжительности сессии в секундах. Для этого:const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Время в секундах
- Проверяем, установлены ли
-
Сохранение данных о сессии:
- С помощью
stats.incrementIpCount(userIP, userId, sessionData);передаем информацию о текущей сессии, включая количество запросов, время начала, время окончания и продолжительность.
- С помощью
-
Обновление статуса подключения:
- Установка значения
connectedвfalse, чтобы обновить состояние клиента. - Удаление записей из
clientActionsиlimitersдля данного пользователя, что освобождает память и завершает отслеживание пользователя.
- Установка значения
Пример полного кода
Вся структура с обработчиком рассматривалась бы так:
wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; // Создаем объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId stats.incrementIpCount(userIP, userId); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); ws.on('message', (message) => { // Ваша логика сообщения... sessionData.requestCount++; // Увеличиваем количество запросов в сессии }); ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии // Обновление статуса подключения и очистка clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); }); });С этой логикой ваш код будет правильно обрабатывать время начала и окончания сессий, обеспечивая полную статистику активности пользователей. User: похоже у тебя ошибка
stats.incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии
надо вызывать так
incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии Assistant: абсолютно правы! Если функция
incrementIpCountбыла импортирована непосредственно, то нужно вызывать ее без указания префиксаstats. Исправленный вызов будет выглядеть так:incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессииВот как будет выглядеть исправленный обработчик закрытия соединения:
ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии // Обновление статуса подключения и очистка clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); });Полный контекст
Итак, ваш полные обработчик событий будет выглядеть следующим образом:
wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; // Увеличиваем общий счетчик подключений stats.totalConnections++; // Создаем объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId incrementIpCount(userIP, userId); // Обновляем статистику по IP console.log('Client connected with user ID:', userId, 'Домен - ', req.headers.origin); ws.on('message', (message) => { // Ваша логика сообщения... sessionData.requestCount++; // Увеличиваем количество запросов в сессии }); ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии // Обновление статуса подключения и очистка clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); }); });Теперь вызов
incrementIpCountкорректен. Все нужные данные о сессии будут переданы для хранения и анализа. Спасибо за уточнение! User: я так понял вся статистика сохраняется раз в сутки, а до того копится в памяти Assistant: , верно! Ваша текущая реализация статистики записывает данные в JSON-файл раз в сутки, а до этого она копится в памяти. Давайте подробнее разберем эту логику:-
Сбор статистики в памяти:
- Все данные о подключениях, запросах, сессиях и IP-адресах сохраняются в объекте
stats, который хранится в памяти. Это позволяет быстро получать доступ к данным и осуществлять их обработку без необходимости постоянного чтения или записи в файл.
- Все данные о подключениях, запросах, сессиях и IP-адресах сохраняются в объекте
-
Запись в файл:
- Функция
saveStatisticsотвечает за запись накопленных данных в файлstatistics.jsonиip_statistics.json. Эта функция вызывается раз в сутки (или при обнулении статистики), что позволяет сохранять данные на постоянно хранение и делать их доступными для последующего анализа. - При вызове
saveStatisticsтекущие значения из объектаstatsкопируются в файл, и новый объект с текущей статистикой добавляется в массив сохраненных данных.
- Функция
-
Обнуление статистики:
- По завершении записи, статистика в памяти может быть обнулена (если это предусмотрено), чтобы начать новый цикл сбора данных.
Рекомендуемые действия:
-
Настройка интервалов записи:
- Вы можете модифицировать частоту записи, если хотите делать это не раз в сутки, а например, каждый час или даже с более высокой частотой. Однако, это может увеличивать нагрузку на диск.
-
Оптимизация памяти:
- Если беспокоитесь о размере памяти, можно интегрировать механизм, который будет периодически очищать старые данные из памяти, оставляя только необходимые для анализа. Например, можно хранить только последние X записей или IP-адресов.
-
Мониторинг состояния:
- Рассмотрите возможность добавления мониторинга за состоянием памяти, чтобы убедиться, что ваше приложение не использует слишком много ресурсов.
Таким образом, текущая система сбора статистики работает эффективно, накопливая данные в памяти и затем записывая их в файл для длительного хранения и анализа. User: Еще раз полный код
stats.js
const fs = require('fs'); const path = require('path');
// Количество дней для статистики const statsDays = 365; // Можно сделать глобальной переменной, если нужно передавать со стороны
// Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0], // Начальная дата - текущая ipStatistics: {} // Для хранения статистики по IP };
// Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json');
// Считываем существующие данные из файла let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } // Создаем объект с текущей статистикой const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks, ipStatistics: { ...stats.ipStatistics } }; // Добавляем текущую статистику existingData.push(currentStat); // Удаляем старые записи, если их больше statsDays if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); // сохраняем только последние statsDays записей } // Сохраняем обновленные данные fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Форматируем JSON для удобочитаемости // Логируем только текущую статистику console.log('Статистика сохранена:', currentStat); // Сохраняем статистику по IP в отдельный файл saveIpStatistics();}
// Функция для сохранения статистики по IP function saveIpStatistics() { const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json'); fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); }
// Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.ipStatistics = {}; stats.date = new Date().toISOString().split('T')[0]; // Обновляем дату }
// Функция для вычисления времени до следующего обнуления (в полночь). Сохраняет раз в сутки function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); // Устанавливаем на полночь следующего дня
const delay = nextReset - now; setTimeout(() => { resetStatistics(); // Обнуляем статистику в полночь setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал }, delay);}
// Сохраняет раз в 20 секунд /function scheduleDailyReset() { // Запланировать первую запись через 20 секунд setTimeout(() => { resetStatistics(); // первая запись статистики // Устанавливаем интервал на 2 минут для последующих записей setInterval(resetStatistics, 20 * 1000); }, 20 * 1000); // 20 секунд }/
// Подсчет подключений и сессий function incrementIpCount(ip, userId, sessionData) { if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = { total: 1, userIds: {} // Объект для хранения количества подключений для каждого userId }; stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] // Массив для хранения сессий }; } else { stats.ipStatistics[ip].total++; // Увеличиваем общее количество подключений для IP if (!stats.ipStatistics[ip].userIds[userId]) { // Если userId новый stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] }; } else { // Увеличиваем счетчик подключений для конкретного userId stats.ipStatistics[ip].userIds[userId].count++; } }
// Сохраняем сессию if (sessionData) { stats.ipStatistics[ip].userIds[userId].sessions.push(sessionData); // Оставляем только 10 последних сессий if (stats.ipStatistics[ip].userIds[userId].sessions.length > 10) { stats.ipStatistics[ip].userIds[userId].sessions.shift(); // Удаляем самую старую сессию } }}
// Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount // Убедитесь, что эта функция добавлена здесь };
call.js
const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount } = require('./stats'); console.log('Current stats object:', stats); console.log('Increment Ip Count function:', typeof incrementIpCount);
const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');
// Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';
// Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });
wss.on('connection', (ws, req) => {
const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString()); const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; // Объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId incrementIpCount(userIP, userId, sessionData); console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else clientActions[userId].connected = true; if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) message = message.toString(); try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); //Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Увеличиваем количество запросов для текущей сессии sessionData.requestCount++; // Инкрементируем количество запросов для текущей сессии // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { //console.error('Rate limit exceeded, message ignored:', error); const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; // Отправка ответа клиенту sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; console.log(response); // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client ',userId, ' disconnected'); });});
// GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата
console.log('Запрос клиента:', messages[messages.length - 1]); //throw new Error("Намеренная ошибка для тестирования catch"); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { // Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления) fullResponse = result.message || ""; //console.log(result); } else { // Если завершено, выводим полный ответ let response = { code: 1, message: fullResponse}; console.log('Ответ чата: ', response); // Отправка ответа клиенту sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз." }; // Отправка ответа клиенту sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произогла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); }}
// Запускаем планировщик для статистики scheduleDailyReset();
// Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 1 минуту
function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }
// Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(
Trying to send message to a closed WebSocket connection.); } }// Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };
// Фильтруем массив, оставляя только корректные сообщения return messages.filter(message => ajv.validate(schema, message));}
console.log('WebSocket сервер запущен через порт 3000');
как будет выглядеть итоговый json Assistant: учетом всей интеграции статистики, ваша система будет собирать данные о подключениях пользователей, количестве запросов в течение сеанса, времени начала и окончания сессий, а также другую информацию, как описано. Итоговая структура данных в ваших JSON-файлах будет выглядеть следующим образом:
Пример
ip_statistics.json{ "192.168.0.1": { "total": 3, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 5, "startTime": "2023-10-01T12:00:00Z", "endTime": "2023-10-01T12:20:00Z", "duration": 1200 }, { "requestCount": 3, "startTime": "2023-10-02T14:00:00Z", "endTime": "2023-10-02T14:10:00Z", "duration": 600 } ] }, "userId2": { "count": 1, "sessions": [ { "requestCount": 10, "startTime": "2023-10-02T16:00:00Z", "endTime": "2023-10-02T16:30:00Z", "duration": 1800 } ] } } }, "192.168.0.2": { "total": 1, "userIds": { "userId3": { "count": 1, "sessions": [ { "requestCount": 2, "startTime": "2023-10-02T16:30:00Z", "endTime": "2023-10-02T16:35:00Z", "duration": 300 } ] } } }, "10.0.0.1": { "total": 5, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 4, "startTime": "2023-10-02T17:00:00Z", "endTime": "2023-10-02T17:15:00Z", "duration": 900 }, { "requestCount": 6, "startTime": "2023-10-02T18:00:00Z", "endTime": "2023-10-02T18:30:00Z", "duration": 1800 } ] }, "userId4": { "count": 3, "sessions": [ { "requestCount": 8, "startTime": "2023-10-02T19:00:00Z", "endTime": "2023-10-02T19:45:00Z", "duration": 2700 } ] } } } }Пример
statistics.json[ { "date": "2023-10-01", "totalRequests": 8, "totalConnections": 3, "totalIPBlocks": 2, "ipStatistics": { "192.168.0.1": { "total": 3, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 5, "startTime": "2023-10-01T12:00:00Z", "endTime": "2023-10-01T12:20:00Z", "duration": 1200 } ] } } } } }, { "date": "2023-10-02", "totalRequests": 18, "totalConnections": 4, "totalIPBlocks": 2, "ipStatistics": { "192.168.0.1": { "total": 2, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 6, "startTime": "2023-10-02T14:00:00Z", "endTime": "2023-10-02T14:10:00Z", "duration": 600 } ] } } }, "192.168.0.2": { "total": 1, "userIds": { "userId3": { "count": 1, "sessions": [ { "requestCount": 2, "startTime": "2023-10-02T16:30:00Z", "endTime": "2023-10-02T16:35:00Z", "duration": 300 } ] } } }, "10.0.0.1": { "total": 5, "userIds": { "userId1": { "count": 2, "sessions": [ { "requestCount": 4, "startTime": "2023-10-02T17:00:00Z", "endTime": "2023-10-02T17:15:00Z", "duration": 900 } ] }, "userId4": { "count": 3, "sessions": [ { "requestCount": 8, "startTime": "2023-10-02T19:00:00Z", "endTime": "2023-10-02T19:45:00Z", "duration": 2700 } ] } } } } } ]Объяснение структуры JSON:
-
ip_statistics.json:- Хранит информацию по каждому IP-адресу, включая:
- Общее количество подключений (
total). - Статистика для каждого
userId, включая:- Количество подключений (
count). - Массив сессий, каждая из которых содержит:
- Количество запросов во время сессии (
requestCount), - Время начала и окончания сессии (
startTime,endTime), - Продолжительность сессии (
duration) в секундах.
- Количество запросов во время сессии (
- Количество подключений (
- Общее количество подключений (
- Хранит информацию по каждому IP-адресу, включая:
-
statistics.json:- Хранит массив объектов, где каждый объект представляет собранные данные за день.
- Включает:
- Дата (
date). - Общее количество запросов (
totalRequests). - Общее количество подключений (
totalConnections). - Общее количество уникальных IP-адресов (
totalIPBlocks). - Записи статистики IP-адресов на дату, аналогично
ip_statistics.json.
- Дата (
Эта структура данных позволяет проводить глубокий анализ пользователя, сессий и статуса подключения, а также лучше управлять статистикой использования вашего сервера. User: statistics.json должна быть только общая информация
[ { "date": "2025-01-06", "totalRequests": 0, "totalConnections": 0, "totalIPBlocks": 0 }, { "date": "2025-01-06", "totalRequests": 0, "totalConnections": 0, "totalIPBlocks": 0 }, { "date": "2025-01-06", "totalRequests": 0, "totalConnections": 0, "totalIPBlocks": 0 }, { "date": "2025-01-06", "totalRequests": 0, "totalConnections": 0, "totalIPBlocks": 0 }, { "date": "2025-01-06", "totalRequests": 0, "totalConnections": 0, "totalIPBlocks": 0 } ]
исправь код. При этом статистика в ip_statistics.json должна сохраняться раз в 5 минут, в statistics.json раз в сутки (как реализовано сейчас)
Assistant: реализовать ваше требование о том, что
statistics.jsonдолжен содерж только общую информацию, аip_statistics.jsonдолжен сохраняться каждые 5 минут, нам нужно внести несколько изменений в код вашего модуляstats.js. Вот исправленный код:Измененный
stats.jsconst fs = require('fs'); const path = require('path'); // Количество дней для статистики const statsDays = 365; // Статистика const stats = { totalRequests: 0, totalConnections: 0, totalIPBlocks: 0, date: new Date().toISOString().split('T')[0], ipStatistics: {} // Для хранения статистики по IP }; // Функция для сохранения статистики в файл function saveStatistics() { const statsFilePath = path.join(__dirname, 'statistics.json'); // Считываем существующие данные из файла let existingData = []; if (fs.existsSync(statsFilePath)) { const fileContent = fs.readFileSync(statsFilePath, 'utf8'); existingData = JSON.parse(fileContent); } // Создаем объект с текущей статистикой const currentStat = { date: stats.date, totalRequests: stats.totalRequests, totalConnections: stats.totalConnections, totalIPBlocks: stats.totalIPBlocks }; // Добавляем текущую статистику existingData.push(currentStat); // Удаляем старые записи, если их больше statsDays if (existingData.length > statsDays) { existingData = existingData.slice(existingData.length - statsDays); } // Сохраняем обновленные данные fs.writeFileSync(statsFilePath, JSON.stringify(existingData, null, 4)); // Логируем только текущую статистику console.log('Общая статистика сохранена:', currentStat); } // Функция для сохранения статистики по IP function saveIpStatistics() { const ipStatsFilePath = path.join(__dirname, 'ip_statistics.json'); fs.writeFileSync(ipStatsFilePath, JSON.stringify(stats.ipStatistics, null, 4)); } // Функция для обнуления статистики и сохранения её в файле function resetStatistics() { saveStatistics(); // Сохраняем общую статистику раз в сутки stats.totalRequests = 0; stats.totalConnections = 0; stats.totalIPBlocks = 0; stats.ipStatistics = {}; stats.date = new Date().toISOString().split('T')[0]; } // Функция для вычисления времени до следующего обнуления (в полночь). function scheduleDailyReset() { const now = new Date(); const nextReset = new Date(); nextReset.setHours(24, 0, 0, 0); const delay = nextReset - now; setTimeout(() => { resetStatistics(); // Обнуляем статистику в полночь setInterval(resetStatistics, 24 * 60 * 60 * 1000); // Затем устанавливаем интервал }, delay); } // Подсчет подключений и сессий function incrementIpCount(ip, userId, sessionData) { if (!stats.ipStatistics[ip]) { stats.ipStatistics[ip] = { total: 1, userIds: {} }; stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] }; } else { stats.ipStatistics[ip].total++; if (!stats.ipStatistics[ip].userIds[userId]) { stats.ipStatistics[ip].userIds[userId] = { count: 1, sessions: [] }; } else { stats.ipStatistics[ip].userIds[userId].count++; } } // Сохраняем сессию if (sessionData) { stats.ipStatistics[ip].userIds[userId].sessions.push(sessionData); if (stats.ipStatistics[ip].userIds[userId].sessions.length > 10) { stats.ipStatistics[ip].userIds[userId].sessions.shift(); } } } // Экспортируем функции и переменные module.exports = { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount, saveIpStatistics // Экспортируем функцию сохранения IP статистики }; // Запланируем сохранение статистики по IP каждые 5 минут setInterval(() => { saveIpStatistics(); console.log('Статистика по IP сохранена.'); }, 5 * 60 * 1000); // Каждые 5 минутОбъяснение изменений:
-
Сохранение общей статистики раз в сутки:
- Методы, отвечающие за сохранение общей статистики (
saveStatistics), были оставлены без изменений. Они по-прежнему будут вызываться раз в сутки.
- Методы, отвечающие за сохранение общей статистики (
-
Сохранение IP статистики каждые 5 минут:
- Добавлено использование функции
setInterval, которая вызывается каждые 5 минут и сохраняет статистику по IP в файлip_statistics.json. - Логирование при сохранении IP статистики, чтобы вы могли видеть активность сохранения.
- Добавлено использование функции
-
Не изменялся процесс обнуления статистики:
- Процесс обнуления статистики в полночь по-прежнему реализован с помощью функции
resetStatistics, которая вызывает сохранение общей статистики.
- Процесс обнуления статистики в полночь по-прежнему реализован с помощью функции
Теперь ваша структура будет сохранять общую статистику раз в сутки, а данные по IP адресам каждые 5 минут, как вы и хотели. User: какие изменения будут в call.js Assistant: учесть изменения в коде
stats.jsсохранить правиль сбор статистики, изменения в файлеcall.jsбудут минимальными, так как большинство функциональных возможностей уже реализовано. Основные задачи заключаются в управлении данными о сессии и вызовах функции для увеличения счетчика подключений.Вот как будет выглядеть ваш файл
call.jsс учетом всех изменений, включая интеграциюincrementIpCountи корректное управление сессиями.Измененный
call.jsconst { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount, saveIpStatistics } = require('./stats'); // Импортируем нужные функции const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; // Объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId incrementIpCount(userIP, userId, sessionData); // Сохранение подключения console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else { clientActions[userId].connected = true; } if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) { message = message.toString(); } try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Увеличиваем количество запросов для текущей сессии sessionData.requestCount++; // Инкрементируем количество запросов для текущей сессии // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); }); }); // Функция вызова API (как и было) async function call(messages, ws) { try { let fullResponse = ""; console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { fullResponse = result.message || ""; } else { let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; sendMessage(ws, response); } } // Запускаем планировщик для статистики scheduleDailyReset(); // Очистка старых соединений раз в минуту setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); return false; } return true; } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false }; return messages.filter(message => ajv.validate(schema, message)); } console.log('WebSocket сервер запущен через порт 3000');Ключевые изменения
-
Импорт функции
saveIpStatistics:- Убедитесь, что вы импортировали
saveIpStatistics, в случае, если вы решите использовать ее, чтобы сохранять статистику по IP в файле.
- Убедитесь, что вы импортировали
-
Управление сессиями:
- Логика сессии теперь граничит с необходимостью сохранять информацию о запросах и времени, основанной на сообщениях WebSocket.
-
Сохранение статистики:
- Использование
incrementIpCountдля передачи информации о сессии вstats.js.
- Использование
С этой версией
call.jsваше приложение должно корректно собирать и сохранять статистику, удовлетворяя вашим требованиям по частоте хранения данных в разных файлах. User: ты импортировал saveIpStatistics нго нигде ее не использовал Assistant: - Assistant
Вы правы! В коде
call.jsне была использована функцияsaveIpStatistics, так как вся информация о сессии сохраняется вincrementIpCount, который уже отвечает за сохранение статистики по IP-адресам.Однако, если вы хотите явно вызвать
saveIpStatisticsдля каких-либо целей, таких как автономное сохранение статистики по IP (например, для отладки или тестирования), вы можете добавить вызов этой функции в любое место, где это требуется. Но если это не нужно, можете просто удалить импорт этой функции, чтобы избежать недоразумений.Уточненный
call.jsВместо лишнего импорта и неиспользуемого кода, вот переработанная версия файла
call.js:const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics, saveStatistics, incrementIpCount } = require('./stats'); const fs = require('fs'); const path = require('path'); const Ajv = require('ajv'); // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc'; // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 }); wss.on('connection', (ws, req) => { const urlParams = new URLSearchParams(req.url.split('?')[1]); const userId = urlParams.get('token'); // Получаем UUID из URL const userIP = req.socket.remoteAddress; const userHeaders = req.headers; // Проверяем Origin if (!checkOrigin(userHeaders.origin, ws)) { return; // Если отклонено, выходим из обработчика } // Увеличиваем общий счетчик подключений stats.totalConnections++; // Объект для хранения информации о сессии const sessionData = { userId: userId, startTime: new Date().toISOString(), endTime: null, // Изначально нет времени окончания requestCount: 0, duration: null // Изначально продолжительность не рассчитана }; // Увеличиваем количество подключений для IP адреса с учетом userId incrementIpCount(userIP, userId, sessionData); // Сохранение подключения console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin); // Инициализируем состояние клиента, если его еще нет if (!clientActions[userId]) { clientActions[userId] = { actions: [], // Массив для хранения действий connected: true, // Статус подключения }; } else { clientActions[userId].connected = true; } if (!limiters[userId]) { // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id) limiters[userId] = new Bottleneck({ maxConcurrent: 1, // Максимальное количество одновременных задач minTime: 1000, // Минимальное время между запросами в миллисекундах highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать) }); } ws.on('message', (message) => { // Проверяем, является ли сообщение экземпляром Buffer if (Buffer.isBuffer(message)) { message = message.toString(); } try { // Преобразуем строку JSON обратно в объект message = JSON.parse(message); // Получаем историю чата из запроса let messages = message.messages; // Выполняем валидацию сообщений messages = validateMessages(messages); // Проверяем, остались ли сообщения после валидации if (messages.length === 0) { const response = { code: 2, message: "Нет валидных сообщений для обработки." }; sendMessage(ws, response); return; } // Урезаем последнее сообщение до 2000 символов, если оно от клиента if (messages[messages.length - 1].role === 'user') { messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000); } // Увеличиваем общий счетчик запросов stats.totalRequests++; // Увеличиваем количество запросов для текущей сессии sessionData.requestCount++; // Инкрементируем количество запросов для текущей сессии // Используем Bottleneck для управления количеством запросов limiters[userId].schedule(() => { // Отправка запроса на сервер чата return call(messages, ws); }).catch(error => { const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." }; sendMessage(ws, response); }); } catch (error) { console.error('Error parsing JSON:', error); const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; // Отправка ответа клиенту sendMessage(ws, response); } }); ws.on('close', () => { // Фиксируем время окончания сессии sessionData.endTime = new Date().toISOString(); // Проверяем, установлены ли время начала и время окончания if (sessionData.startTime && sessionData.endTime) { const start = new Date(sessionData.startTime); const end = new Date(sessionData.endTime); sessionData.duration = (end - start) / 1000; // Рассчитываем продолжительность сессии в секундах } // Увеличиваем количество подключений и сохраняем данные о сессии incrementIpCount(userIP, userId, sessionData); // Передаем информацию о сессии clientActions[userId].connected = false; // Обновление статуса подключения delete clientActions[userId]; // Удаление состояния клиента delete limiters[userId]; // Удаление ограничителя для данного клиента console.log('Client disconnected:', userId); }); }); // Функция вызова API async function call(messages, ws) { try { let fullResponse = ""; console.log('Запрос клиента:', messages[messages.length - 1]); gpt4o({ messages: messages, markdown: false }, (result) => { try { if (!result.finish) { fullResponse = result.message || ""; } else { let response = { code: 1, message: fullResponse }; console.log('Ответ чата: ', response); sendMessage(ws, response); } } catch (callbackError) { console.error('Error processing callback result:', callbackError); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." }; sendMessage(ws, response); } }); } catch (error) { console.error('Error:', error); let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."}; sendMessage(ws, response); } } // Запускаем планировщик для статистики scheduleDailyReset(); // Очистка старых соединений раз в минуту setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); return false; } return true; } // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(`Trying to send message to a closed WebSocket connection.`); } } // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false }; return messages.filter(message => ajv.validate(schema, message)); } console.log('WebSocket сервер запущен через порт 3000');Изменения в коде:
-
Удалили импорт
saveIpStatistics:- Удалили импорт функции
saveIpStatistics, так как она не используется.
- Удалили импорт функции
-
Логика осталась без изменений:
- Вся логика обработки соединений, сообщений и закрытия клиентских соединений осталась без изменений, кроме упрощения кода.
С учетом вышеизложенного, теперь ваш код будет более чистым и не будет содержать ненужных импортов.
-