Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

const { gpt, gptweb } = require("./API/gpt"); const { dalle } =…

  1. User

    User: const { gpt, gptweb } = require("./API/gpt"); const { dalle } = require("./API/dalle"); const { gpt4o } = require("./API/gpt4o"); const { gpt3 } = require("./API/gpt3.5"); const { prompts } = require("./API/gpt-prompts"); const { blackbox } = require("./API/blackbox"); const { qwen } = require("./API/qwen"); const { gemini } = require("./API/gemini"); const WebSocket = require('ws'); const Bottleneck = require('bottleneck'); const { stats, scheduleDailyReset, resetStatistics } = require('./stats'); // Импортируем модуль статистики const fs = require('fs'); const path = require('path'); const Ajv = require('ajv');

    // Создаем экземпляр Ajv (проверка входящей переписки на соответствие схеме) const ajv = new Ajv(); // Объект для хранения действий и состояния каждого клиента const clientActions = {}; // Объект для хранения ограничителей по каждому клиенту const limiters = {}; // Замените на ваш домен const allowedOrigin = 'http://gpt.loc';

    // Создайте WebSocket-сервер const wss = new WebSocket.Server({ port: 3000 });

    wss.on('connection', (ws, req) => {

    const urlParams = new URLSearchParams(req.url.split('?')[1]);
    const userId = urlParams.get('token'); // Получаем UUID из URL
    const userIP = req.socket.remoteAddress;
    //console.log("IP-адрес - ", userIP, "Время подключения - ", new Date().toISOString());
    const userHeaders = req.headers;
    
    // Проверяем Origin
    if (!checkOrigin(userHeaders.origin, ws)) {
        return; // Если отклонено, выходим из обработчика
    }
    
    // Увеличиваем общий счетчик подключений
    stats.totalConnections++;
    
    console.log('Client connected with user ID:', userId, 'Домен - ', userHeaders.origin);
    
    // Инициализируем состояние клиента, если его еще нет
    if (!clientActions[userId]) {
    	clientActions[userId] = {
    		actions: [], // Массив для хранения действий
    		connected: true, // Статус подключения
        };
    }
    else
    	clientActions[userId].connected = true;
    
    if (!limiters[userId]) { 
      // Создаем экземпляр Bottleneck для каждого клиента (ограничение на количество запросов по Id)
    	limiters[userId] = new Bottleneck({
            maxConcurrent: 1, // Максимальное количество одновременных задач
            minTime: 1000, // Минимальное время между запросами в миллисекундах
    	    highWater: 0 // Не разрешать в очереди больше 0 запросов (игнорировать)
        });
    }
    
    ws.on('message', (message) => {
    	// Проверяем, является ли сообщение экземпляром Buffer
    	if (Buffer.isBuffer(message))
    		message = message.toString(); 
    	try {
    		// Преобразуем строку JSON обратно в объект
    		message = JSON.parse(message); 
    		//Получаем историю чата из запроса
    		let messages = message.messages;
    		// Выполняем валидацию сообщений
    		messages = validateMessages(messages);
    		
    		// Проверяем, остались ли сообщения после валидации
    		if (messages.length === 0) {
    			const response = { code: 2, message: "Нет валидных сообщений для обработки." };
    			sendMessage(ws, response);
    			return;
    		}
    		
    		// Урезаем последнее сообщение до 2000 символов, если оно от клиента
    		if (messages[messages.length - 1].role === 'user') {
    			messages[messages.length - 1].content = messages[messages.length - 1].content.substring(0, 2000000);
    		}
    		
    		// Увеличиваем общий счетчик запросов
            stats.totalRequests++;
    		
    		// Используем Bottleneck для управления количеством запросов
    		limiters[userId].schedule(() => {
    			// Отправка запроса на сервер чата
    			return call(messages, ws);
    		}).catch(error => {
    			//console.error('Rate limit exceeded, message ignored:', error);
    			const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." };
    			// Отправка ответа клиенту
    			//sendMessage(ws, response);
    		});
    		
    	} catch (error) {
    			console.error('Error parsing JSON:', error);
    			const response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    			console.log(response);
    			// Отправка ответа клиенту
    			sendMessage(ws, response);
    	}
    	
    });
    
    ws.on('close', () => {
    	clientActions[userId].connected = false; // Обновление статуса подключения
    	delete clientActions[userId]; // Удаление состояния клиента
    	delete limiters[userId]; // Удаление ограничителя для данного клиента
        console.log('Client ',userId, ' disconnected');
    });
    

    });

    // GPT4o async function call(messages, ws) { try { let fullResponse = ""; // Переменная для результата

    	console.log('Запрос клиента:', messages[messages.length - 1]); 
    	//throw new Error("Намеренная ошибка для тестирования catch");
        gpt4o({
            messages: messages,
            markdown: false
        }, (result) => {
    		try {
    			if (!result.finish) {
    				// Запоминаем только последний ответ чата (он будет полный, промежуточные ответы - это накопления)
    				fullResponse = result.message || "";
    				//console.log(result);
    			} else {
    				// Если завершено, выводим полный ответ
    				let response = { code: 1, message: fullResponse};
    				console.log('Ответ чата: ', response);
    				// Отправка ответа клиенту
    				sendMessage(ws, response);
    			}
    		}
    		catch (callbackError) {
                console.error('Error processing callback result:', callbackError);
                let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                // Отправка ответа клиенту
    			sendMessage(ws, response);
            }
        });
    } catch (error) {
        console.error('Error:', error);
    	let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз."};
    	// Отправка ответа клиенту
    	sendMessage(ws, response);
    }
    

    }

    // Запускаем планировщик для статистики scheduleDailyReset();

    // Очистка старых соединений раз в минуту (по желанию) setInterval(() => { Object.keys(clientActions).forEach(userId => { if (!clientActions[userId].connected) { delete clientActions[userId]; // Удаляем пользователя из памяти, если он отключен delete limiters[userId]; } }); }, 10 * 60 * 1000); // Очистка каждые 10 минут

    function checkOrigin(origin, socket) { if (origin !== allowedOrigin) { console.log('Недопустимый домен. Соединение разорвано: ', origin); socket.close(); // Закрываем соединение, если домен не разрешен return false; // Возвращаем false для индикатора отклонения } return true; // Возвращаем true, если домен разрешен }

    // Отправляет ответ клиенту function sendMessage(ws, message) { if (ws.readyState === WebSocket.OPEN) { ws.send(JSON.stringify(message)); } else { console.warn(Trying to send message to a closed WebSocket connection.); } }

    // Удаление из массива сообщений не соответствующих схеме function validateMessages(messages) { // Определяем схему для сообщений const schema = { type: 'object', properties: { role: { type: 'string' }, content: { type: 'string' } }, required: ['role', 'content'], additionalProperties: false };

    // Фильтруем массив, оставляя только корректные сообщения
    return messages.filter(message => ajv.validate(schema, message));
    

    }

    console.log('WebSocket сервер запущен через порт 3000');

    нужно вынести функцию call в отдельный файл Assistant: вынести функцию call в отдельный файл, вам нужно создать новый файл и экспортировать эту функцию, затем импортировать и использовать её в вашем основном коде. Вот как вы можете это сделать.

    Шаг 1: Создайте новый файл

    Создайте новый файл для функции call, например call.js, и поместите в него следующий код:

    const { gpt4o } = require("./API/gpt4o");
    
    // Функция call для обработки исходящих сообщений
    async function call(messages, ws) {
        try {
            let fullResponse = ""; // Переменная для результата
    
            console.log('Запрос клиента:', messages[messages.length - 1]);
    
            gpt4o({
                messages: messages,
                markdown: false
            }, (result) => {
                try {
                    if (!result.finish) {
                        // Запоминаем только последний ответ чата
                        fullResponse = result.message || "";
                    } else {
                        // Если завершено, выводим полный ответ
                        let response = { code: 1, message: fullResponse };
                        console.log('Ответ чата: ', response);
                        // Отправка ответа клиенту
                        sendMessage(ws, response);
                    }
                }
                catch (callbackError) {
                    console.error('Error processing callback result:', callbackError);
                    let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                    // Отправка ответа клиенту
                    sendMessage(ws, response);
                }
            });
        } catch (error) {
            console.error('Error:', error);
            let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
            // Отправка ответа клиенту
            sendMessage(ws, response);
        }
    }
    
    // Отправляет ответ клиенту
    function sendMessage(ws, message) {
        if (ws.readyState === WebSocket.OPEN) {
            ws.send(JSON.stringify(message));
        } else {
            console.warn(`Trying to send message to a closed WebSocket connection.`);
        }
    }
    
    module.exports = { call };
    

    Шаг 2: Импортируйте и используйте функцию в вашем основном файле

    Теперь в вашем основном файле (где вы определяли сервер WebSocket) вам нужно импортировать функцию call из нового файла:

    const { call } = require("./call"); // Импортируем функцию call
    

    Шаг 3: Обновите ваш основной файл

    В вашем основном коде замените существующий код определения функции call на импорт:

    const { call } = require("./call"); // Импортируйте функцию call
    
    // ... остальной код вашего сервера WebSocket ...
    

    Теперь функция call вынесена в отдельный файл, и ваш основной файл стал чище и проще в управлении. Убедитесь, что вы правильно настроили пути для импорта, чтобы они соответствовали структуре папок вашего проекта. User: нужен ли const { gpt4o } = require("./API/gpt4o"); в основном файле Assistant: вы вынесли функцию call в отдельный файл call.js, то вам больше не нужно импортировать gpt4o в основном файле, если он используется только внутри функции call. Вместо этого импортируйте gpt4o непосредственно в файле call.js.

    Ваш файл call.js будет выглядеть так:

    const { gpt4o } = require("./API/gpt4o");
    
    // Функция call для обработки исходящих сообщений
    async function call(messages, ws) {
        try {
            let fullResponse = ""; // Переменная для результата
    
            console.log('Запрос клиента:', messages[messages.length - 1]);
    
            gpt4o({
                messages: messages,
                markdown: false
            }, (result) => {
                try {
                    if (!result.finish) {
                        // Запоминаем только последний ответ чата
                        fullResponse = result.message || "";
                    } else {
                        // Если завершено, выводим полный ответ
                        let response = { code: 1, message: fullResponse };
                        console.log('Ответ чата: ', response);
                        // Отправка ответа клиенту
                        sendMessage(ws, response);
                    }
                }
                catch (callbackError) {
                    console.error('Error processing callback result:', callbackError);
                    let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                    // Отправка ответа клиенту
                    sendMessage(ws, response);
                }
            });
        } catch (error) {
            console.error('Error:', error);
            let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
            // Отправка ответа клиенту
            sendMessage(ws, response);
        }
    }
    
    // Отправляет ответ клиенту
    function sendMessage(ws, message) {
        if (ws.readyState === WebSocket.OPEN) {
            ws.send(JSON.stringify(message));
        } else {
            console.warn(`Trying to send message to a closed WebSocket connection.`);
        }
    }
    
    module.exports = { call };
    

    Таким образом, в вашем основном файле импортируйте только call:

    const { call } = require("./call"); // Импортируйте функцию call
    
    // Остальной код вашего сервера WebSocket...
    

    В итоге, в основном файле не будет лишнего кода, и он станет более чистым. User: Error processing callback result: ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:23:21 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21) 0|server | ReferenceError: WebSocket is not defined 0|server | at sendMessage (C:\OSPanel\domains\gpt.loc\API\gptcalls.js:43:27) 0|server | at C:\OSPanel\domains\gpt.loc\API\gptcalls.js:30:17 0|server | at IncomingMessage. (C:\OSPanel\domains\gpt.loc\API\API\gpt4o.js:898:28) 0|server | at IncomingMessage.emit (node:events:530:35) 0|server | at endReadableNT (node:internal/streams/readable:1696:12) 0|server | at process.processTicksAndRejections (node:internal/process/task_queues:82:21)

    Где ошибка у тебя? Assistant:

  2. Assistant

    Ошибка, которую вы получили, возникает из-за того, что функция sendMessage пытается использовать объект WebSocket, который не был импортирован в файл call.js. Чтобы исправить это, вам нужно передать sendMessage в вашу функцию call из основного файла или переместить определение sendMessage в основной файл.

    Шаг 1: Переместите функцию sendMessage в основной файл

    Если sendMessage используется только в одном месте (в функции call), вам может быть удобнее просто вызвать sendMessage из основного файла.

    Ваш основной файл будет выглядеть следующим образом:

    const { call } = require("./call"); // Импортируйте функцию call
    
    // Отправляет ответ клиенту
    function sendMessage(ws, message) {
        if (ws.readyState === WebSocket.OPEN) {
            ws.send(JSON.stringify(message));
        } else {
            console.warn(`Trying to send message to a closed WebSocket connection.`);
        }
    }
    
    // ... остальной код вашего сервера WebSocket ...
    
    // В функции `call`
    async function call(messages, ws) {
        // ... ваш существующий код ...
        // Уберите определение sendMessage и позаботьтесь о передаче ws
    }
    

    Шаг 2: Передайте sendMessage в функцию call

    Теперь вам нужно сделать его доступным внутри вызова call:

    const { gpt4o } = require("./API/gpt4o");
    
    async function call(messages, ws, sendMessage) {
        try {
            let fullResponse = ""; // Переменная для результата
    
            console.log('Запрос клиента:', messages[messages.length - 1]);
    
            gpt4o({
                messages: messages,
                markdown: false
            }, (result) => {
                try {
                    if (!result.finish) {
                        // Запоминаем только последний ответ чата
                        fullResponse = result.message || "";
                    } else {
                        // Если завершено, выводим полный ответ
                        let response = { code: 1, message: fullResponse };
                        console.log('Ответ чата: ', response);
                        // Отправка ответа клиенту
                        sendMessage(ws, response);
                    }
                } catch (callbackError) {
                    console.error('Error processing callback result:', callbackError);
                    let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
                    sendMessage(ws, response);
                }
            });
        } catch (error) {
            console.error('Error:', error);
            let response = { code: 2, message: "Произошла ошибка. Попробуйте еще раз." };
            sendMessage(ws, response);
        }
    }
    
    module.exports = { call };
    

    Шаг 3: Обновите вызов функции call

    Теперь обновите вызов в основном файле, чтобы передавать sendMessage:

    limiters[userId].schedule(() => {
        // Отправка запроса на сервер чата
        return call(messages, ws, sendMessage); // Передаем sendMessage здесь
    }).catch(error => {
        const response = { code: 2, message: "Превышен лимит запросов. Пожалуйста, попробуйте позже." };
        // sendMessage(ws, response);
    });
    

    Теперь ваша функция call имеет доступ к sendMessage, и ошибка WebSocket is not defined должна исчезнуть. Это обеспечит правильную отправку ответов обратно клиенту через WebSocket.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.