Как обратиться через js к OpenAI API получив в качестве ответа стрим
- User
Как обратиться через js к OpenAI API получив в качестве ответа стрим
- Assistant
Для обращения к OpenAI API с использованием JavaScript и получения ответов в виде стрима, вы можете воспользоваться Fetch API вместе с разбиением ответа на порции данных. OpenAI API позволяет использовать Streaming API, который дает возможность получать части ответа по мере их генерации.
Вот пример кода, который демонстрирует, как это можно сделать:
async function fetchOpenAIStream(prompt) { const response = await fetch("https://api.openai.com/v1/chat/completions", { method: "POST", headers: { "Content-Type": "application/json", "Authorization": `Bearer YOUR_API_KEY`, // Замените YOUR_API_KEY на ваш реальный ключ API }, body: JSON.stringify({ model: "gpt-3.5-turbo", messages: [{ role: "user", content: prompt }], stream: true, // Включаем стриминг }), }); const reader = response.body.getReader(); const decoder = new TextDecoder("utf-8"); let result = ''; while (true) { const { done, value } = await reader.read(); if (done) break; // Декодируем полученные данные const chunk = decoder.decode(value, { stream: true }); // Добавляем к результату result += chunk; // Выводим или обрабатываем полученную часть ответа console.log(chunk); } return result; // Возвращаем полный результат } // Использование функции fetchOpenAIStream("Как дела?").then(response => { console.log("Полный ответ:", response); });Подробное объяснение:
-
Функция
fetchOpenAIStream:- Принимает текстовый запрос, который вы хотите отправить в OpenAI.
- Использует
fetchдля отправки POST-запроса к API OpenAI с заголовками и телом запроса. - В теле запроса включена настройка
stream: true, чтобы активировать стриминг.
-
Чтение и декодирование потока:
- Получает поток данных через
response.body.getReader(). - Использует
TextDecoderдля декодирования байтовых данных в строки. - Читает данные по частям в цикле
while, пока не будут получены все данные (doneстанетtrue).
- Получает поток данных через
-
Вывод данных:
- Каждая часть данных выводится в консоль в реальном времени.
Замените
YOUR_API_KEYна ваш API-ключ из OpenAI.Убедитесь, что вы корректно настроили CORS, если вы работаете в браузере, так как API OpenAI требует корректной настройки для кросс-доменных запросов.
-
- User
что делает await fetch?
- Assistant
await fetchиспользуется в асинхронных функциях для выполнения HTTP-запроса и ожидания его завершения. Давайте подробнее разберем, что он делает:1.
fetch:fetch— это встроенная функция JavaScript, которая позволяет вам отправлять HTTP-запросы к удаленным ресурсам (например, API). Она возвращает объектPromise, который представляет асинхронное выполнение запроса.2.
await:await— это ключевое слово, которое приостанавливает выполнение асинхронной функции до тех пор, покаPromiseне будет разрешен (или отклонен). Таким образом, выполнение кода будет ожидать завершения предыдущей операции, прежде чем продолжить.Пример работы:
Когда вы пишете строку кода
const response = await fetch(url);, происходит следующее:-
Запрос отправляется: Вызов
fetch(url)инициирует HTTP-запрос по указанному URL. В это время работа программы (в рамках вашей асинхронной функции) приостанавливается. -
Ожидание завершения: JS-движок продолжает выполнение других задач (если таковые имеются) в основном потоке, пока не поступит ответ от сервера.
-
Получение ответа: Как только сервер отправляет ответ (либо успешно, либо с ошибкой),
fetchразрешаетPromise. В случае успешного ответаPromiseразрешается объектомResponse. -
Использование результата: Переменная
responseполучает значение объектаResponse, который содержит информацию о ответе, такую как статус (например, 200, 404 и т.д.), заголовки и содержимое ответа.
Пример кода:
Вот простой пример, чтобы продемонстрировать использование
await fetch:async function getData() { try { const response = await fetch("https://api.example.com/data"); if (!response.ok) { // Проверка на успешный ответ throw new Error('Network response was not ok: ' + response.statusText); } const data = await response.json(); // Преобразование ответа в JSON console.log(data); // Обработка полученных данных } catch (error) { console.error('There was a problem with the fetch operation:', error); } } getData();Важно:
- Использование
awaitвозможно только внутриasyncфункции. Если вы попытаетесь использоватьawaitвнеasyncфункции, получите ошибку. - Обработка исключений — хорошая практика. В примере выше используется
try...catch, чтобы поймать и обработать любые ошибки, которые могут возникнуть во время выполненияfetch.
-