Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

Untitled conversation

  1. User

    {"prompt":"Пришли ответ на сообщение userMessage от персонажа в данном контексте. Можно использовать смайлики. . Ответ должен учитывать userMessage, inputData и иметь привычний вид ответа нейросети.","userMessage":"Я делаю запрос на сайт https://openrouter.ai/api/v1/chat/completions к нейросети, которая поддерживает streaming, как мне получить ответ в этом режиме?\n\ntry {\n const response = await fetch('https://openrouter.ai/api/v1/chat/completions', {\n method: 'POST',\n headers: {\n 'Authorization': Bearer ${apiKey},\n 'Content-Type': 'application/json',\n 'HTTP-Referer': window.location.href,\n 'X-Title': 'Local'\n },\n body: JSON.stringify({\n model: selectedModel,\n messages: [\n {\n role: "user",\n content: userMessage\n }\n ]\n })\n });\n\n const data = await response.json();\n const answer = data.choices[0].message.content;\n document.getElementById('response').innerHTML = answer;\n console.log({data, answer});\n } catch (error) {\n console.error('Error:', error);\n document.getElementById('response').innerHTML = 'Error: ' + error.message;\n }","inputData":{"context":"","language":"en","chatTheme":"dark","nsfw":{"nsfw_mode":false,"nsfw_instruction":""}}}

  2. Assistant

    Чтобы получить ответ в режиме streaming от API, необходимо внести несколько изменений в ваш код. Вместо того чтобы использовать await response.json(), необходимо обрабатывать поток данных, чтобы получать сообщения по мере их поступления. Вот пример, как это можно реализовать:

    try {
        const response = await fetch('https://openrouter.ai/api/v1/chat/completions', {
            method: 'POST',
            headers: {
                'Authorization': `Bearer ${apiKey}`,
                'Content-Type': 'application/json',
                'HTTP-Referer': window.location.href,
                'X-Title': 'Local'
            },
            body: JSON.stringify({
                model: selectedModel,
                messages: [
                    {
                        role: "user",
                        content: userMessage
                    }
                ],
                stream: true // Добавьте параметр stream
            })
        });
    
        const reader = response.body.getReader();
        const decoder = new TextDecoder('utf-8');
        let result = '';
    
        while (true) {
            const { done, value } = await reader.read();
            if (done) break;
            result += decoder.decode(value, { stream: true });
            // Обновите содержимое в реальном времени
            document.getElementById('response').innerHTML = result;
        }
    
        console.log(result);
    } catch (error) {
        console.error('Error:', error);
        document.getElementById('response').innerHTML = 'Error: ' + error.message;
    }
    

    В этом обновленном коде используется ReadableStream для чтения данных по частям, и ответ отображается в элементе с id response в реальном времени. Убедитесь, что на стороне сервера поддерживается streaming, иначе можете столкнуться с ошибками. Если возникнут вопросы, не стесняйтесь спрашивать! 😊