как установить ffmpeg откуда скачать чтобы был exe файл
- User
как установить ffmpeg откуда скачать чтобы был exe файл
- Assistant
Чтобы установить FFmpeg и получить исполняемый файл
.exe, выполните следующие шаги:-
Скачать FFmpeg:
- Перейдите на официальный сайт FFmpeg по адресу ffmpeg.org.
- Перейдите в раздел "Download" и выберите вашу операционную систему. Для Windows вы можете перейти по ссылке на сборки от сторонних поставщиков, таких как BtbN или gyan.dev.
-
Выбрать нужную сборку:
- На странице ссылок выберите последнюю версию и загрузите архив с бинарными файлами (например,
ffmpeg-release-essentials.zipдля Windows).
- На странице ссылок выберите последнюю версию и загрузите архив с бинарными файлами (например,
-
Распаковать архив:
- После загрузки распакуйте архив в удобное для вас место, например, в
C:\ffmpeg.
- После загрузки распакуйте архив в удобное для вас место, например, в
-
Настроить системный путь:
- Чтобы использовать FFmpeg из командной строки без указания полного пути к файлу, добавьте путь к папке
bin, где находитсяffmpeg.exe, в переменную окружения PATH. - Для этого:
- Нажмите правой кнопкой на "Этот компьютер" или "Мой компьютер" на рабочем столе или в Проводнике и выберите "Свойства".
- Перейдите в "Дополнительные параметры системы".
- Нажмите на "Переменные среды".
- В разделе "Системные переменные" найдите переменную
Pathи нажмите "Изменить". - Добавьте новый путь, например
C:\ffmpeg\bin, и сохраните изменения.
- Чтобы использовать FFmpeg из командной строки без указания полного пути к файлу, добавьте путь к папке
-
Проверить установку:
- Откройте командную строку (cmd) и введите
ffmpeg -version. Если путь настроен правильно, вы увидите информацию о версии FFmpeg.
- Откройте командную строку (cmd) и введите
Теперь FFmpeg готов к использованию! Вы можете запускать его команды и обработку мультимедийных файлов через командную строку.
-
- User
Не удается получить доступ к сайту Превышено время ожидания ответа от сайта ffmpeg.org. Попробуйте сделать следующее:
Проверьте подключение к интернету. Проверьте настройки прокси-сервера и брандмауэра. Выполните диагностику сети в Windows ERR_CONNECTION_TIMED_OUT
- Assistant
Если у вас возникают проблемы с доступом к сайту FFmpeg или ошибка
ERR_CONNECTION_TIMED_OUT, попробуйте следующие шаги для устранения неполадок:-
Проверьте подключение к интернету:
- Убедитесь, что у вас стабильное интернет-соединение и другие сайты открываются без проблем.
-
Используйте VPN или прокси:
- Попробуйте использовать VPN-сервис, чтобы обойти возможные ограничения сети или провайдера.
-
Очистите кэш DNS:
- Запустите командную строку (cmd) и введите команду
ipconfig /flushdns, чтобы очистить кеш DNS.
- Запустите командную строку (cmd) и введите команду
-
Проверьте настройки брандмауэра и антивируса:
- Временное отключение брандмауэра или антивирусного ПО может помочь выяснить, не блокируют ли они доступ к сайту.
-
Попробуйте другой браузер:
- Используйте другой браузер или режим инкогнито (приватного просмотра), чтобы проверить, не вызывает ли проблема настройки вашего текущего браузера.
-
Используйте другие источники для загрузки FFmpeg:
- Хотя сайт FFmpeg может быть временно недоступен, вы можете загрузить FFmpeg из других надежных источников. Например:
- BtbN на GitHub предоставляет актуальные сборки FFmpeg.
- gyan.dev также является хорошим источником для бинарных файлов FFmpeg для Windows.
- Хотя сайт FFmpeg может быть временно недоступен, вы можете загрузить FFmpeg из других надежных источников. Например:
-
Попробуйте подключиться к сайту позже:
- В некоторых случаях проблема может быть временной, и подключение через некоторое время будет восстановлено.
Если ни один из шагов не помог, возможно, проявилась какая-то специфическая проблема в вашей сети, и стоит обратиться за технической поддержкой к вашему интернет-провайдеру.
-
- User
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; // Импортируйте из correctamente названного файла import { Client } from '@gradio/client';
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; // Declare gradioClient in a broader scope
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); // console.log('Полный ответ API:', JSON.stringify(predictionResult, null, 2)); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { // Извлекаем последнее "вопрос-ответ" из массива const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; // Второй элемент пары — это ответ if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }initGradioClient() .then(async (client) => { gradioClient = client; }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); // Используйте вашу новую функцию транскрипции if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); // transcriber.js import pkg from 'vosk'; import fs from 'fs'; import { execSync } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
// Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
pkg.setLogLevel(0);
const model = new Model(MODEL_PATH);
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
// Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully'); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model: model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); });}); };
$ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=7000 latt ice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan components. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/program/v osk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived variables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vosk-model -ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vosk-mode l-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-model-ru- 0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/program /vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/vosk/vos k-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/vosk/vos k-model-ru-0.42//rnnlm/final.raw Starting audio transcription "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���. Error during audio conversion: Error: Command failed: ffmpeg -y -i "E:\program\bot-tg\v oices\178999805.mp3" -ar 16000 -ac 1 "E:\program\bot-tg\voices\178999805.wav" "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���.
at genericNodeError (node:internal/errors:984:15) at wrappedFn (node:internal/errors:538:14) at checkExecSyncError (node:child_process:890:11) at execSync (node:child_process:962:15) at file:///E:/program/bot-tg/src/transcriber.js:29:7 at new Promise (<anonymous>) at transcribeAudio (file:///E:/program/bot-tg/src/transcriber.js:23:10) at file:///E:/program/bot-tg/index.js:97:24 at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at async execute (E:\program\bot-tg\node_modules\telegraf\lib\composer.js:485:17) {status: 1, signal: null, output: [ null, <Buffer@0x0000000000000000 >, <Buffer@0x000001E1507AD100 22 66 66 6d 70 65 67 22 20 ad a5 20 ef a2 ab ef a5 e2 e1 ef 20 a2 ad e3 e2 e0 a5 ad ad a5 a9 20 a8 ab a8 20 a2 ad a5 e8 ad a5 a9 0d 0a aa ae ac a0 ad ... 50 more bytes> ], pid: 13396, stdout: <Buffer@0x0000000000000000 >, stderr: <Buffer@0x000001E1507AD100 22 66 66 6d 70 65 67 22 20 ad a5 20 ef a2 ab ef a5 e2 e1 ef 20 a2 ad e3 e2 e0 a5 ad ad a5 a9 20 a8 ab a8 20 a2 ad a5 e8 ad a5 a9 0d 0a aa ae ac a0 ad ... 50 more bytes> } Ошибка при обработке голосового сообщения: Command failed: ffmpeg -y -i "E:\program\bot -tg\voices\178999805.mp3" -ar 16000 -ac 1 "E:\program\bot-tg\voices\178999805.wav" "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���.
Gradio client initialized
- Assistant
Проблема, с которой вы столкнулись, связана с тем, что система не может найти исполняемый файл
ffmpeg. Это случается, когдаffmpegне установлен на вашем компьютере или не добавлен в переменную окружения PATH. Вот шаги, которые вам нужно выполнить для устранения этой ошибки:-
Установите FFmpeg:
- Если FFmpeg не установлен, следуйте инструкциям, которые я предоставил ранее, чтобы скачать и установить его.
-
Добавьте FFmpeg в PATH:
- Найдите папку с исполняемым файлом
ffmpeg.exe. - Скопируйте путь к этой папке (например,
C:\ffmpeg\bin). - Откройте "Панель управления" → "Система и безопасность" → "Система" → "Дополнительные параметры системы" → "Переменные среды".
- В разделе "Системные переменные" найдите переменную
Pathи нажмите "Изменить". - Добавьте путь к папке с
ffmpeg.exeв список значенийPath. - Нажмите "ОК", чтобы применить изменения, и перезапустите терминал или командную строку.
- Найдите папку с исполняемым файлом
-
Проверьте установку:
- Откройте командную строку (cmd) и введите
ffmpeg -version. Это должно вывести информацию о версии и подтвердить, чтоffmpegдоступен из командной строки.
- Откройте командную строку (cmd) и введите
После выполнения этих шагов ваша программа должна корректно выполнять команды
ffmpeg, и ошибка должна исчезнуть. Если проблема сохраняется, проверьте, правильно ли вы указали путь к исполняемому файлуffmpegв настройках переменной окружения PATH. -
- User
я нажимаю на ffmpeg.exe в виндовс но ничего не происходит.. установка не начинает, вообще нет реакции
- Assistant
FFmpeg является не графическим приложением, а утилитой командной строки. Это означает, что у него нет установщика с графическим интерфейсом, который можно было бы запустить двойным щелчком. Вместо этого FFmpeg предназначен для работы через командную строку. Вот что вам нужно сделать:
-
Поместите ffmpeg.exe в удобное место:
- Разархивируйте скаченный архив (будет содержать
ffmpeg.exeи, возможно, другие файлы) в какую-то папку, например,C:\ffmpeg.
- Разархивируйте скаченный архив (будет содержать
-
Добавьте папку в PATH (если еще не сделали этого):
- Откройте "Панель управления" → "Система и безопасность" → "Система" → "Дополнительные параметры системы" → "Переменные среды".
- В разделе "Системные переменные" найдите переменную
Pathи нажмите "Изменить". - Добавьте путь к папке, содержащей ваш
ffmpeg.exe(например,C:\ffmpeg\bin, если такой путь существует).
-
Используйте FFmpeg через командную строку:
- Откройте командную строку (cmd). Для этого нажмите
Win + R, введитеcmdи нажмите "ОК". - Введите команду
ffmpeg -versionи нажмите Enter. Это должно вывести информацию о вашей версии FFmpeg.
- Откройте командную строку (cmd). Для этого нажмите
-
Запустите команду FFmpeg:
- Вы можете запускать различные команды FFmpeg для конвертации видео и аудио файлов. Пример команды для конвертации аудио:
ffmpeg -i input.mp3 output.wav
- Вы можете запускать различные команды FFmpeg для конвертации видео и аудио файлов. Пример команды для конвертации аудио:
Если у вас возникают какие-либо ошибки при попытке выполнить команды в командной строке, пожалуйста, предоставьте их здесь, чтобы я мог помочь вам их исправить.
-
- User
я не вижу такого в параметрах у меня windows 10
- Assistant
Если у вас возникли трудности с добавлением FFmpeg в системную переменную PATH на Windows 10, вот пошаговая инструкция, как это сделать:
-
Распакуйте FFmpeg:
- Скачайте FFmpeg для Windows и извлеките содержимое архива в удобное для вас место. Например,
C:\ffmpeg.
- Скачайте FFmpeg для Windows и извлеките содержимое архива в удобное для вас место. Например,
-
Откройте "Свойства системы":
- Щелкните правой кнопкой мыши на значке "Этот компьютер" (или "Мой компьютер") на рабочем столе или в Проводнике и выберите "Свойства".
- С левой стороны выберите "Дополнительные параметры системы".
-
Переменные среды:
- В открывшемся окне выберите кнопку "Переменные среды...".
-
Редактирование PATH:
- В разделе "Системные переменные" найдите переменную
Pathи выберите ее. - Нажмите кнопку "Изменить...".
- В разделе "Системные переменные" найдите переменную
-
Добавьте новый путь:
- В окне редактирования переменной
Pathнажмите "Создать" и добавьте полный путь к папкеbinвнутри директории с FFmpeg. Пример:C:\ffmpeg\bin. - Нажмите "ОК", чтобы сохранить изменения.
- В окне редактирования переменной
-
Проверьте настройки:
- Теперь откройте "Командную строку". Для этого нажмите
Win + R, введитеcmdи нажмите Enter. - В командной строке введите
ffmpeg -versionи нажмите Enter. Если все сделано правильно, вы увидите информацию о версии FFmpeg.
- Теперь откройте "Командную строку". Для этого нажмите
Эти шаги должны помочь вам правильно настроить FFmpeg на Windows 10. Если по-прежнему возникают проблемы, убедитесь, что вы следуете каждой части инструкции без пропусков.
-
- User
не находит Дополнительные параметры системы
- Assistant
Если у вас возникли трудности с поиском "Дополнительные параметры системы" в Windows 10, попробуйте следующие инструкции:
-
Использование поиска Windows:
- Нажмите кнопку "Пуск" или значок Windows на клавиатуре.
- Введите "Дополнительные параметры системы" в строке поиска.
- В результатах вы увидите опцию "Просмотр дополнительных параметров системы" или "Изменение переменных среды для вашей учетной записи". Выберите эту опцию.
-
Через "Этот компьютер":
- Откройте "Проводник" (например, с помощью сочетания клавиш
Win + E). - В левом меню щелкните правой кнопкой мыши на "Этот компьютер" и выберите "Свойства".
- В окне, которое откроется, в правой части выберите "Дополнительные параметры системы".
- Откройте "Проводник" (например, с помощью сочетания клавиш
-
Использование настроек Windows:
- Откройте "Параметры" с помощью значка шестеренки в меню "Пуск" или сочетанием клавиш
Win + I. - Перейдите в раздел "Система".
- Прокрутите вниз и выберите "О нас".
- В разделе "Связанные параметры" выберите "Система".
- Откройте "Параметры" с помощью значка шестеренки в меню "Пуск" или сочетанием клавиш
-
Через Панель управления:
- Откройте "Панель управления" (вы можете найти её через поиск Windows, введя "Панель управления").
- Перейдите в "Система и безопасность" → "Система".
- В левой части выберите "Дополнительные параметры системы".
Надеюсь, один из этих методов поможет вам открыть дополнительные параметры системы. Раздел с переменными среды находится там же, где и в предыдущих инструкциях.
-
- User
C:\Users\vrd09>ffmpeg -version ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-config=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable-pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi --enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfbuzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --disable-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --enable-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable-libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-cuda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcaption --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --enable-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enable-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --enable-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable-libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libvvenc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enable-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w64-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranlib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version=20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100
- Assistant
Похоже, что FFmpeg успешно установлен и добавлен в ваш PATH, так как команда
ffmpeg -versionуспешно выдает информацию о версии FFmpeg. Это означает, что FFmpeg готов к работе из командной строки на вашем компьютере.Теперь вы можете использовать FFmpeg для выполнения различных задач обработки мультимедиа, таких как конвертация аудио или видео файлов. Например, чтобы конвертировать аудио файл из формата MP3 в WAV, вы можете использовать следующую команду в командной строке:
ffmpeg -i input.mp3 output.wavЭто всего лишь один из многочисленных примеров. FFmpeg обладает множеством возможностей, и его команды можно настроить под различные задачи. Если у вас есть конкретные цели или задачи с использованием FFmpeg, я могу помочь с их выполнением.
- User
в коде нужно что то менять или оно автоматически заработает ?
- Assistant
Если вы исправили проблему с доступностью FFmpeg, ваш код должен автоматически заработать, если он правильно настроен использовать FFmpeg из командной строки. Тем не менее, чтобы удостовериться в правильности работы, проверьте следующие моменты в вашем коде:
-
Проверка путей:
- Убедитесь, что передаваемые файлы (например, голосовые сообщения) находятся в правильном местоположении и пути к ним указаны корректно.
-
Обработка ошибок:
- В вашем коде уже есть обработка ошибок при использовании FFmpeg, но стоит удостовериться, что она отловит возможные проблемы (если те возникнут) и продолжит выполнение программы корректно.
-
Тестирование голосового и текстового ввода:
- Проверьте, что ваш код корректно обрабатывает как голосовые, так и текстовые сообщения от Telegram. Это включает в себя правильное получение и преобразование аудио файлов и отправку текстовых сообщений для предсказания от Gradio.
Если вы всё настроили правильно, то теперь FFmpeg будет успешно выполняться, и ваш код должен без проблем справляться с задачами, в которых используется эта утилита. Тем не менее, в процессе тестирования могут всплыть специфические ошибки, которые могут быть связаны с другими частями кода, не связанными с FFmpeg. Если такие ошибки возникнут, укажите конкретные сообщения об ошибках или поведение программы, и я постараюсь помочь.
-
- User
$ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=7000 latt ice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan components. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/program/v osk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived variables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vosk-model -ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vosk-mode l-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-model-ru- 0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/program /vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/vosk/vos k-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/vosk/vos k-model-ru-0.42//rnnlm/final.raw
- Assistant
Судя по логам, ваша программа успешно загружает модель Vosk для распознавания речи. Эти сообщения указывают на то, что различные компоненты модели и связанные файлы были загружены правильно. Если загрузка модели завершится без ошибок, это хороший знак того, что часть, отвечающая за распознавание речи, работает корректно.
Вот несколько моментов, чтобы убедиться, что всё работает как должно:
-
Полная инициализация:
- Убедитесь, что программа завершает инициализацию Vosk без ошибок. Отсутствие критических сообщений об ошибках после загрузки моделей обычно указывает на успех.
-
Тестирование функции транскрипции:
- Проверьте, можете ли вы успешно транскрибировать аудиофайл, используя Vosk. Вы можете создать небольшой тестовый скрипт для проверки этой функциональности в отрыве от всего остального кода.
-
Проверка на FFmpeg:
- Удостоверьтесь, что проблема с FFmpeg решена, и вы можете выполнять команды конвертации аудиофайлов (например, из MP3 в WAV), как ожидалось.
-
Логирование ошибок:
- Если возникают специфические проблемы, которые вы не ожидаете, добавьте больше логирования в код, чтобы отслеживать точки, на которых они возникают.
-
Использование примеров:
- Если это первый раз, когда вы работаете с Vosk, возможно, стоит попробовать следовать официальным примерам, доступным в их документации, чтобы убедиться в правильности последовательности операций.
Если у вас есть специфические ошибки или проблемы в дальнейшем ходе выполнения программы, предоставьте их детали, и я постараюсь помочь.
-
- User
почему при этом бот не дает реакции ? так долго все загружается?
- Assistant
Если ваш бот не реагирует, это может быть вызвано несколькими факторами. Давайте рассмотрим несколько возможных причин и решений:
-
Длительная загрузка модели Vosk:
- Модель Vosk и связанные с ней файлы могут быть довольно большими, поэтому их загрузка может занять некоторое время, особенно на слабых компьютерах или устройствах с медленным диском.
- Убедитесь, что ваш диск работает без перегрузок и что на нём достаточно свободного места.
-
Процесс заблокирован:
- Если процесс загрузки моделей Vosk занимает слишком много времени, он может блокировать основную нить программы. Это может произойти, если вы загружаете модели синхронно и не используете асинхронное выполнение.
- Проверьте, как реализована загрузка моделей и инициализация Vosk в вашем коде. Возможно, стоит запустить её в отдельной асинхронной функции.
-
Проверка асинхронности:
- Убедитесь, что все асинхронные операции (например, работа с сетью или диском) выполняются правильно и не блокируют основной поток. Используйте
async/awaitдля асинхронных операций с корректной обработкой ошибок.
- Убедитесь, что все асинхронные операции (например, работа с сетью или диском) выполняются правильно и не блокируют основной поток. Используйте
-
Проблемы с сетью:
- Убедитесь, что нет проблем с вашим интернет-соединением, которые могут влиять на работу бота, особенно если он зависит от внешних сервисов.
-
Логирование и отладка:
- Расширьте логирование в коде, чтобы выяснить, на каком этапе он "застревает". Это может дать полезную информацию о том, где возникают задержки.
-
Разграничение проблем:
- Попробуйте изолировать часть вашего кода для тестирования. Например, создайте отдельный скрипт для проверки только Vosk, чтобы убедиться, что проблема не в нём.
Если бот не отвечает и делается всё необходимое для минимизации загрузочных задержек, попробуйте также посмотреть наличие ошибок в логах, которые вы, возможно, упустили на предыдущих этапах. Если не удается идентифицировать проблему, предоставьте больше информации с конкретными логами или ошибками, чтобы можно было более точно посоветовать, как её исправить.
-
- User
$ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=7000 latt ice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan components. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/program/v osk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived variables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vosk-model -ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vosk-mode l-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-model-ru- 0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/program /vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/vosk/vos k-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/vosk/vos k-model-ru-0.42//rnnlm/final.raw после чего сессия с ботом закрылась
- Assistant
Если ваша сессия с ботом закрывается после загрузки моделей Vosk, это может указывать на несколько возможных проблем. Давайте рассмотрим, что может быть причиной такого поведения:
-
Инициализация не завершается:
- Проверьте, завершается ли весь процесс после загрузки моделей Vosk. Если загрузка модели блокирует поток, убедитесь, что она действительно завершилась.
-
Обработка ошибок:
- Убедитесь, что в вашем коде правильно обрабатываются все возможные ошибки. Проверьте функции, которые отвечают за инициализацию и вызовы Vosk, на наличие возможных незамеченных исключений, которые могут приводить к закрытию приложения.
-
Проблемы с telegram-bot API:
- Могут быть проблемы с инициализацией или запуском самого бота. Проверьте, запускается ли бот после загрузки Vosk и нет ли ошибок в его конфигурации или инициализации.
-
Асинхронные вызовы:
- Убедитесь, что все тяжелые операции (включая загрузку моделей) обернуты в асинхронные функции с использованием
async/awaitили промисов, чтобы не блокировать основной поток выполнения программы.
- Убедитесь, что все тяжелые операции (включая загрузку моделей) обернуты в асинхронные функции с использованием
-
Логирование:
- Включите расширенное логирование в важных точках вашего приложения. Это может помочь вам определить, на каком этапе программа завершает свою работу.
-
Проблемы с памятью или ресурсами:
- Убедитесь, что у вашего компьютера достаточно ресурсов (особенно оперативной памяти), чтобы загружать и обрабатывать такие большие модели.
-
Проверка другого кода:
- Попробуйте временно изолировать часть, связанную с Vosk, и протестировать только функциональность бота без Vosk, чтобы убедиться, что в ней нет проблем.
Если ничего из этого не помогло, попробуйте предоставить больше информации о вашей конфигурации и о том, что происходит перед закрытием сессии, чтобы я мог помочь более целенаправленно. Проверьте, например, журналы системных событий (или логи ошибок, если они есть), которые могут содержать более детальную информацию о завершении сессии.
-
- User
вот код, скажи почему сессия заканчивается, нужно чтобы бот продолжал работать import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; // Импортируйте из correctamente названного файла import { Client } from '@gradio/client';
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; // Declare gradioClient in a broader scope
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); // console.log('Полный ответ API:', JSON.stringify(predictionResult, null, 2)); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { // Извлекаем последнее "вопрос-ответ" из массива const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; // Второй элемент пары — это ответ if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }initGradioClient() .then(async (client) => { gradioClient = client; }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); // Используйте вашу новую функцию транскрипции if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); // transcriber.js import pkg from 'vosk'; import fs from 'fs'; import { execSync } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
// Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
pkg.setLogLevel(0);
const model = new Model(MODEL_PATH);
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
// Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully'); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model: model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); });}); };
- Assistant
Ваш код выглядит в целом правильно, однако проблема, связанная с тем, что бот завершает работу, может быть вызвана несколькими факторами. Вот некоторые моменты, которые стоит проверить и, возможно, исправить:
-
Обработка ошибок:
- Убедитесь, что любые асинхронные операции, такие как обращение к API или работа с файлами, правильно обрабатывают ошибки. Например, в функции
transcribeAudio, в случае ошибки во время конвертации или распознавания, результатrejectведет к завершению промиса, но без коррелирующей обработки он может повлиять на работу бота.
- Убедитесь, что любые асинхронные операции, такие как обращение к API или работа с файлами, правильно обрабатывают ошибки. Например, в функции
-
Асинхронная инициализация клиента Gradio:
- Функция
initGradioClientинициализирует клиента асинхронно. Убедитесь, что бот не начинает свою работу до полной инициализации этого клиента. Вы можете подождать его инициализации перед вызовомbot.launch(). Например:initGradioClient() .then(async (client) => { gradioClient = client; bot.launch(); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); - Таким образом, бот не запустится до полной инициализации клиента Gradio.
- Функция
-
Диагностика и логирование:
- Это критично понимать, на каком этапе бот может завершиться. Добавление дополнительного логирования может помочь отследить проблему. Это могут быть логирование статуса каждой асинхронной операции и успешного или неуспешного завершения каждого этапа.
-
Ручной вызов
process.exit:- Проверьте, нет ли других мест в коде (или в импортируемых модулях), где может вызываться
process.exit(). Например, вызов этой функции встречается в блоке, который проверяет наличие модели Vosk.
- Проверьте, нет ли других мест в коде (или в импортируемых модулях), где может вызываться
-
Тестирование отдельных компонентов:
- Проверьте работу каждого отдельного компонента (например, только часть, отвечающую за голосовые сообщения) отдельно от общего потока, чтобы изолировать, что именно может инициировать завершение сессии.
Надеюсь, эти предложения помогут вам определить, в чем заключается проблема, и устранить ее, чтобы ваш бот продолжил работать стабильно. Если у вас есть более конкретные ошибки или логи, которые вызывают завершение, пожалуйста, предоставьте их для более точной диагностики.
-
- User
все равно сессия закрылась $ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=7000 latt ice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan components. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/program/v osk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived variables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vosk-model -ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vosk-mode l-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-model-ru- 0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/program /vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/vosk/vos k-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/vosk/vos k-model-ru-0.42//rnnlm/final.raw
- Assistant
Если сессия вашего бота продолжает завершаться без явной ошибки, это может быть вызвано различными факторами. На основе предоставленных логов похоже, что инициализация модели Vosk завершается без явных ошибок, но это не объясняет причину завершения самого процесса. Рассмотрим несколько шагов, которые могут помочь выявить причину и решение проблемы:
-
Логирование завершения сессии:
- Добавьте глобальные обработчики для всех необработанных Promise и исключений, чтобы видеть, что именно может вызвать завершение процесса:
process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection:', promise, 'reason:', reason); });
- Добавьте глобальные обработчики для всех необработанных Promise и исключений, чтобы видеть, что именно может вызвать завершение процесса:
-
Убедитесь в правильной последовательности инициализации:
- Должны быть уверены, что
bot.launch()вызывается только после успешной инициализации всех зависимостей, включая Vosk и Gradio.
- Должны быть уверены, что
-
Проверка неявного выхода:
-
Убедитесь, нет ли мест в коде (или в подключаемых библиотеках), которые могли бы вызывать
process.exit()или завершать процесс неявно. -
Например, вызов
process.exit(1)в случае ошибкиМодель Vosk не найденав части вашего кода:if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
-
-
Проверка использования ресурсов:
- Возможно, из-за большой нагрузки на систему она завершает процесс принудительно. Проверьте использование CPU и RAM во время выполнения программы.
-
Логирование на каждом этапе:
- Добавьте больше логирования перед и после каждой значимой операции (включая все асинхронные вызовы), чтобы понять, на каком этапе процесс прекращает выполнение.
-
Тестирование отдельных компонентов:
- Попробуйте временно отключить функциональные части (например, работу с Vosk или Gradio) и запустить бота с ограниченным функционалом, чтобы проверить, сохраняется ли проблема.
Если эти шаги не дадут результатов, возможно, проблема в самой среде выполнения Node.js или конфликтах с библиотеками и стоит попробовать обновить используемые пакеты или Node.js до более новой версии.
-
- User
куда именно этот код нужно вставить ?
- Assistant
Глобальные обработчики для необработанных исключений и обещаний (
Promise) следует вставлять на ранних этапах работы вашего приложения, чтобы они могли поймать все возможные ошибки, возникающие в процессе выполнения. Обычно это делается сразу после всех основных импортов и перед основной логикой вашего кода, включая запуск сервера или инициализацию бота.Вот где вы можете разместить код в вашем файле
index.js:// Import necessary modules at the very beginning import { Telegraf, session } from 'telegraf'; // ... other imports // Globally handle uncaught exceptions and unhandled promise rejections process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); // Initialize your bot and other components here const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; // Declare gradioClient in a broader scope async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } // Ensure proper initialization sequence initGradioClient() .then(async (client) => { gradioClient = client; bot.launch(); // Launch the bot only after successfully initializing the client }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Use session and define bot commands/responses bot.use(session()); // Define bot commands and message handlers bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); // ... (rest of your bot handlers) // Define shutdown for signal interrupts process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); // Ensure vosk transcriber code is properly set in './src/transcriber.js'Этот код устанавливает глобальные обработчики исключений и обещаний, что поможет выявить необработанные ошибки, которые могут привести к завершению работы приложения. Убедитесь, что проверены все места, где ваше приложение может выйти из строя (например, из-за ручной остановки процесса или критических ошибок). Надеюсь, это поможет в диагностике и устранении проблемы.
- User
тогда замени данный код на то, что должно получится import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; // Импортируйте из correctamente названного файла import { Client } from '@gradio/client';
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; // Declare gradioClient in a broader scope
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); // console.log('Полный ответ API:', JSON.stringify(predictionResult, null, 2)); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { // Извлекаем последнее "вопрос-ответ" из массива const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; // Второй элемент пары — это ответ if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }initGradioClient() .then(async (client) => { gradioClient = client; bot.launch(); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); // Используйте вашу новую функцию транскрипции if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));
- Assistant
Вставка глобальных обработчиков ошибок и улучшение асинхронной инициализации клиента могут помочь в отладке и стабилизации работы вашего Telegram-бота. Я также добавлю логирование для мониторинга прохождения кода. Вот обновленный код:
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; import { Client } from '@gradio/client'; // Глобальные обработчики для необработанных ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], }; try { console.log(`Отправка на ${apiEndpoint}:`, parameters); const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.'; } catch (error) { console.error(`Ошибка во время запроса ${apiEndpoint}:`, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } } // Инициализация клиента Gradio и запуск бота initGradioClient() .then(client => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); return bot.launch(); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio или запустить бота:', error); }); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply(`${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`); } } }); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Изменения:
- Обработка ошибок: Добавлены глобальные обработчики для
uncaughtExceptionиunhandledRejection. - Инициализация: Асинхронная инициализация клиента
Gradioи запускbot.launch()происходит только после подтверждения успешной инициализации. - Логирование: Посмотрите на логи для каждого этапа (например, завершение инициализации Gradio и запуск бота), чтобы лучше понять, где именно может завершаться выполнение.
Эти изменения должны помочь в диагностике и обеспечении стабильного выполнения вашего приложения.
- Обработка ошибок: Добавлены глобальные обработчики для
- User
бот не отвечает в телеграмм когда работает сессия
- Assistant
Если бот не отвечает в Telegram, когда код вроде бы работает, проблема может быть в нескольких местах. Вот несколько шагов, которые помогут диагностировать проблему:
-
Проверка токена бота:
- Убедитесь, что вы правильно указали
BOT_TOKEN. Ошибка в этом может привести к тому, что бот не сможет подключиться к серверу Telegram.
- Убедитесь, что вы правильно указали
-
Логирование Telegram событий:
- Добавьте больше логирования для каждой операции, чтобы увидеть, получаете ли вы запросы от Telegram. Например, вы можете логировать каждый вызов обработчика сообщений:
bot.on('message', (ctx) => { console.log(`Получено сообщение: ${ctx.message.text || 'голосовое'}`); }); -
Проверка соединения и сети:
- Убедитесь, что у вашего сервера или устройства есть стабильное интернет-соединение.
- Проверьте, нет ли блокировок или проблем с фаерволом, которые могли бы препятствовать соединению с API Telegram.
-
Проблемы с сетевыми портами:
- Если вы используете вебхуки (
webhooks) вместо использования режима отслеживания обновлений (polling), убедитесь, что порт, на котором слушает ваш сервер, открыт и готов принимать HTTP-запросы.
- Если вы используете вебхуки (
-
Обработка ошибок:
- Проверьте в вашем коде ининциализации и других функциях, вызываются ли неожиданные ошибки, которые могут прерывать выполнение.
-
Проверка асинхронного кода:
- Убедитесь, что все асинхронные операции в вашем коде правильно используют
awaitи возвращаютPromise, чтобы избежать блокировок.
- Убедитесь, что все асинхронные операции в вашем коде правильно используют
-
Другой ассистент:
- Проверьте, нет ли другого активного бота, использующего тот же токен, так как это может также вызвать конфликты.
Пример добавления логов в основные обработчики:
bot.command('start', async (ctx) => { console.log('/start command received'); ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { console.log('Voice message received'); ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); console.log(`Voice file link: ${link.href}`); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); console.log(`File converted to ogg at: ${oggPath}`); const mp3Path = await ogg.toMp3(oggPath, userId); console.log(`File converted to mp3 at: ${mp3Path}`); const text = await transcribeAudio(mp3Path); console.log(`Transcribed text: ${text}`); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(`Prediction response: ${responseMessage}`); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });Эти и другие подобные логи должны помочь вам понять, какая часть вашего кода выполняется, и где может быть проблема. Если бот все еще не отвечает, попробуйте также протестировать его с минимумом функционала, чтобы изолировать, где именно возникают трудности.
-
- User
но он не отвечает даже на текст
- Assistant
Если ваш бот не отвечает даже на текстовые сообщения, это говорит о том, что проблема может быть в подключении к Telegram API или неверной настройке токена, обработчиков сообщений или других аспектов. Вот шаги, которые помогут выявить и устранить проблему:
-
Проверка токена:
- Убедитесь, что ваш токен правильно настроен. Он должен быть получен от BotFather и установлен в вашем конфиге через
config.get('TELEGRAM_TOKEN'). - Проверьте, что
configправильно загружает данные из вашего файла конфигурации (например,config/default.json).
- Убедитесь, что ваш токен правильно настроен. Он должен быть получен от BotFather и установлен в вашем конфиге через
-
Логирование входящих сообщений:
- Добавьте логирование всех входящих сообщений, чтобы убедиться, что бот действительно их получает.
bot.on('message', (ctx) => { console.log(`Получено сообщение: ${ctx.message.text}`); // вы можете добавить здесь код для ответа }); -
Проверка подключения:
- Убедитесь, что ваше приложение может подключаться к интернету и API Telegram. Проверьте на предмет блокировок или фаерволов.
-
Минимизация функционала для теста:
- Упростите код бота до минимальной функциональности, чтобы проверить, где именно возникает проблема. Например:
const bot = new Telegraf(BOT_TOKEN); bot.start((ctx) => ctx.reply('Welcome!')); bot.on('text', (ctx) => ctx.reply('Received your message')); bot.launch(); -
Проверка режима запуска:
- Убедитесь, что бот запускается в правильном режиме. Если вы используете вебхуки, проверьте их настройку и доступность.
- Если используется polling, убедитесь, что нет конфликтующих процессов, использующих тот же токен.
-
Проверка ошибок бота:
- Добавьте обработчики ошибок для любого ответа от Telegram API:
bot.catch((err, ctx) => { console.error(`Error for ${ctx.updateType}`, err); }); -
Обновление библиотек:
- Убедитесь, что все используемые вами модули обновлены до актуальных версий.
-
Проверка ошибок в консоли:
- Проверьте консоль на наличие ошибок, которые могли бы вмешиваться в работу бота.
Если после этих шагов бот все еще не отвечает, проблема может быть специфична для вашей конфигурации сети или окружения. В таком случае стоит попробовать развернуть еще один тестовый бот с другим токеном и тестовой конфигурацией, чтобы убедиться, что базовое подключение работает.
-
- User
нет он перестал реагировать когда мы добавили vosk , до этого он отвечал
- Assistant
Если бот перестал реагировать после добавления Vosk, это может быть связано с тем, что загрузка модели или работа с аудиофайлами занимает больше времени, чем ожидалось, либо блокирует выполнение программы. Давайте проанализируем, что может быть причиной и как это исправить:
-
Асинхронность:
- Убедитесь, что вся работа с Vosk и аудиофайлами происходит асинхронно и не блокирует основной поток исполнения. Используйте
async/awaitили промисы для всех операций, связанных с I/O.
- Убедитесь, что вся работа с Vosk и аудиофайлами происходит асинхронно и не блокирует основной поток исполнения. Используйте
-
Инициализация модели Vosk:
- Убедитесь, что модель Vosk инициализируется только один раз и не в каждом запросе. Это можно сделать путем перемещения инициализации модели за пределы обработчиков сообщений и вызовов функций.
const model = new Model(MODEL_PATH); -
Проблемы с загрузкой аудиофайлов:
- Убедитесь, что аудиофайлы корректно загружаются, конвертируются и удаляются после использования, чтобы не накапливать ненужные файлы на диске.
-
Обработка ошибок:
- Убедитесь, что обработка ошибок покрывает инициализацию модели Vosk, обработку аудиофайлов и транскрипцию. Если ошибка возникает, она должна быть поймана и залогирована.
-
Проверка производительности:
- Ознакомьтесь с ресурсами системы во время выполнения бота, чтобы убедиться, что нехватка ресурсов не тормозит обработку.
-
Минимизация функционала для теста:
- Упростите функционал бота до текстового взаимодействия, а затем добавьте Vosk поэтапно, чтобы выявить уровень, на котором возникает проблема.
-
Логирование внутри
transcribeAudio:- Добавьте логирование поэтапно в
transcribeAudioфункции для диагностики проблем на уровне обработки аудиофайлов:
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription:', filePath); const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully:', wavPath); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model: model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed:', result); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }); }; - Добавьте логирование поэтапно в
Эти шаги помогут изолировать и устранить причину проблемы. Если логирование покажет, что именно заблокировано, вы сможете скорректировать выполнение кода.
-
- User
вот теперь бот ответил спустя несколько минут и сразу на все вопросы.. как будто что то ему не давало это сделать ранее, возможно что то связано с тем, что пока не прошла вся инициализация библиотек, бот не давал реакцию , это плохо, нужно чтобы бот мог отвечать на текст пока загружается возможность обрабатывать голосовые сообщения, проверь данный код и исправь эту ошибку, чтобы текст он мог обрабатывать сразу и не зависел от библиотеки vosk и обработки звука import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; import { Client } from '@gradio/client';
// Глобальные обработчики для необработанных ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Инициализация клиента Gradio и запуск бота initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); return bot.launch(); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio или запустить бота:', error); });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); // transcriber.js import pkg from 'vosk'; import fs from 'fs'; import { execSync } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
// Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
pkg.setLogLevel(0);
const model = new Model(MODEL_PATH);
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
// Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully'); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model: model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); });}); };
- Assistant
Чтобы бот мог немедленно реагировать на текстовые сообщения, независимо от состояния загрузки и инициализации голосовой обработки с Vosk, нужно изменить логику инициализации и обработчиков. Вот как можно это сделать:
- Отделить инициализацию голосовой модели от текстового процессинга.
- Использовать флаг (или состояние), чтобы отслеживать готовность к обработке голосовых сообщений.
Вот обновленный код с учётом этих изменений:
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; import { Client } from '@gradio/client'; process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; // Флаг для отслеживания готовности Vosk async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], }; try { console.log(`Отправка на ${apiEndpoint}:`, parameters); const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.'; } catch (error) { console.error(`Ошибка во время запроса ${apiEndpoint}:`, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } } // Запуск бота сразу, независимо от состояния Vosk initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Запуск Vosk в фоновом режиме (async () => { try { const { Model } = await import('vosk'); // Импорт модели Vosk const model = new Model('e:/program/vosk/vosk-model-ru-0.42/'); console.log('Vosk model initialized'); voskReady = true; // Установка флага готовности } catch (error) { console.error('Ошибка инициализации Vosk:', error); } })(); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); bot.launch(); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Объяснение:
- Асинхронная инициализация Vosk: Инициализация модели Vosk перенесена в отдельную асинхронную функцию, которая выполняется в фоновом режиме после запуска бота.
- Флаг
voskReady: Используется для отслеживания готовности Vosk. Если модель ещё не инициализирована, реакция на голосовые сообщения будет сообщать пользователю об этом. - Независимость текстового процессинга: Текстовые сообщения обрабатываются сразу, независимо от состояния голосовой обработки.
Таким образом, бот будет немедленно реагировать на текстовые сообщения, а голосовая обработка начнёт работать после завершения инициализации Vosk.
- User
так стоп я тебе присылал код из двух разных файлов вот первый файл index.js import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio } from './src/transcriber.js'; import { Client } from '@gradio/client';
// Глобальные обработчики для необработанных ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Инициализация клиента Gradio и запуск бота initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); return bot.launch(); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio или запустить бота:', error); });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); вот второй файл transcriber.js // transcriber.js import pkg from 'vosk'; import fs from 'fs'; import { execSync } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
// Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
pkg.setLogLevel(0);
const model = new Model(MODEL_PATH);
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
// Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully'); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model: model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); });}); }; теперь тот код что ты прислал исправленный сделай еще раз но разбей на файлы также
- Assistant
Чтобы ваш бот мог реагировать на текстовые сообщения сразу, без зависимости от длительного процесса инициализации Vosk, нужно изменить подход к архитектуре кода. Вот как это можно сделать, разбив на два отдельных файла
index.jsиtranscriber.js:Файл
index.jsЭтот файл отвечает за основную логику бота и обработку текстовых сообщений.
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client'; // Глобальные обработчики для необработанных ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; // Флаг для отслеживания готовности Vosk async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], }; try { console.log(`Отправка на ${apiEndpoint}:`, parameters); const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.'; } catch (error) { console.error(`Ошибка во время запроса ${apiEndpoint}:`, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } } // Запуск инициализации клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Запуск инициализации Vosk в фоновом режиме initializeVosk().then(() => { console.log('Vosk model initialized'); voskReady = true; }); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка еще не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); bot.launch(); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Файл
transcriber.jsЭтот файл отвечает за инициализацию и обработку аудиофайлов.
import pkg from 'vosk'; import fs from 'fs'; import { execSync } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); } try { pkg.setLogLevel(0); const model = new Model(MODEL_PATH); console.log('Vosk model loaded'); resolve(model); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); } }); }; export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); try { execSync(`ffmpeg -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); console.log('Audio converted successfully'); } catch (err) { console.error('Error during audio conversion:', err); return reject(err); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }); };В этом решении:
- Асинхронная инициализация Vosk: Инициализация Vosk происходит в фоне в момент запуска бота и не блокирует обработку текстовых сообщений.
- Флаг
voskReady: Используется для проверки готовности Vosk перед обработкой голосовых сообщений. - Обработка текста: Бот может обрабатывать текстовые сообщения сразу после старта.
- User
ранее мы настраивали ffmpeg но все равно ошибка Starting audio transcription "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���. Error during audio conversion: Error: Command failed: ffmpeg -y -i "E:\program\bot-tg\v oices\178999805.mp3" -ar 16000 -ac 1 "E:\program\bot-tg\voices\178999805.wav" "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���.
at genericNodeError (node:internal/errors:984:15) at wrappedFn (node:internal/errors:538:14) at checkExecSyncError (node:child_process:890:11) at execSync (node:child_process:962:15) at file:///E:/program/bot-tg/src/transcriber.js:29:7 at new Promise (<anonymous>) at transcribeAudio (file:///E:/program/bot-tg/src/transcriber.js:23:10) at file:///E:/program/bot-tg/index.js:105:24 at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at async execute (E:\program\bot-tg\node_modules\telegraf\lib\composer.js:485:17) {status: 1, signal: null, output: [ null, <Buffer@0x0000000000000000 >, <Buffer@0x000001DF49EA96D0 22 66 66 6d 70 65 67 22 20 ad a5 20 ef a2 ab ef a5 e2 e1 ef 20 a2 ad e3 e2 e0 a5 ad ad a5 a9 20 a8 ab a8 20 a2 ad a5 e8 ad a5 a9 0d 0a aa ae ac a0 ad ... 50 more bytes> ], pid: 18512, stdout: <Buffer@0x0000000000000000 >, stderr: <Buffer@0x000001DF49EA96D0 22 66 66 6d 70 65 67 22 20 ad a5 20 ef a2 ab ef a5 e2 e1 ef 20 a2 ad e3 e2 e0 a5 ad ad a5 a9 20 a8 ab a8 20 a2 ad a5 e8 ad a5 a9 0d 0a aa ae ac a0 ad ... 50 more bytes> } Ошибка при обработке голосового сообщения: Command failed: ffmpeg -y -i "E:\program\bot -tg\voices\178999805.mp3" -ar 16000 -ac 1 "E:\program\bot-tg\voices\178999805.wav" "ffmpeg" �� ���� ����७��� ��� ���譥� ��������, �ᯮ��塞�� �ணࠬ��� ��� ������ 䠩���.
- Assistant
Ошибка, с которой вы столкнулись, указывает на то, что
ffmpegнедоступен в системе. Это может произойти, еслиffmpegне установлен должным образом или не добавлен в системную переменнуюPATH. Вот шаги, которые помогут решить эту проблему:-
Проверка установки FFmpeg:
- Убедитесь, что
ffmpegустановлен и доступен. В командной строке введитеffmpeg -version, чтобы проверить, выводит ли она информацию о версии. Если команда не распознается, FFmpeg не доступен в PATH.
- Убедитесь, что
-
Добавление FFmpeg в PATH:
- Найдите файл
ffmpeg.exe, который вам удалось скачать и распаковать. - Скопируйте путь к директории, где находится
ffmpeg.exe(например,C:\ffmpeg\bin). - Перейдите в "Панель управления" → "Система и безопасность" → "Система" → "Дополнительные параметры системы".
- Нажмите кнопку "Переменные среды...".
- В разделе "Системные переменные" найдите и выберите
Path, затем нажмите "Изменить...". - Добавьте путь к директории
bin, где находитсяffmpeg.exe. - Примените изменения и перезапустите командную строку или терминал.
- Найдите файл
-
Перезапуск командной строки:
- Закройте и откройте заново командную строку или программу, в которой вы работаете, чтобы обновленные переменные PATH вступили в силу.
-
Проверка завершения работы:
- После добавления в PATH, попробуйте снова запустить команду
ffmpeg -versionв командной строке, чтобы проверить, установлена ли она корректно.
- После добавления в PATH, попробуйте снова запустить команду
-
Использование полного пути (временно):
- Для временного решения (пока вы не убедитесь, что
ffmpegкорректно добавлен в PATH) вы можете использовать полный путь кffmpeg.exeв вашем коде:
const ffmpegPath = 'C:\\path\\to\\ffmpeg\\bin\\ffmpeg.exe'; // Убедитесь, что обратные косые черты удвоены execSync(`${ffmpegPath} -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); - Для временного решения (пока вы не убедитесь, что
Это должно помочь справиться с проблемой. Если после этих шагов
ffmpegвсе еще не работает, проверьте правильность путей и отсутствие опечаток в настройках PATH. -
- User
C:\Users\vrd09>ffmpeg -version ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-config=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable-pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi --enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfbuzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --disable-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --enable-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable-libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-cuda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcaption --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --enable-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enable-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --enable-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable-libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libvvenc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enable-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w64-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranlib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version=20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100
- Assistant
Похоже, что
ffmpegустановлен и доступен в командной строке, так как командаffmpeg -versionуспешно возвращает информацию о версии. Это означает, чтоffmpegдобавлен в системную переменнуюPATHи работает в командной строке. Однако в коде все равно возникает ошибка при вызовеffmpeg, указывающая на недоступность команды.Это может быть связано с несколькими причинами:
-
Контекст выполнения:
- Убедитесь, что скрипт Node.js запускается из той же средовой системы, где
ffmpegдоступен (установлена переменная PATH).
- Убедитесь, что скрипт Node.js запускается из той же средовой системы, где
-
Переменные окружения:
- Иногда ваш терминал может использовать одну версию PATH, в то время как Node.js инициализируется из другого контекста. Убедитесь, что вы перезапустили вашу среду разработки или терминал после изменения переменной PATH.
-
Удваивание слешей:
- Если вы указываете
ffmpegчерез полный путь в коде, убедитесь, что все обратные слэши удвоены, как в следующем примере:
const ffmpegPath = 'C:\\path\\to\\ffmpeg\\bin\\ffmpeg.exe'; // Обратные слеши удвоены execSync(`${ffmpegPath} -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"`); - Если вы указываете
-
Изолированное окружение:
- Если вы запускаете код из окружения (например, IDE или контейнера), убедитесь, что это окружение поддерживает связь с системной переменной PATH.
-
Проверка синхронизации:
- Проверьте, что всё используется асинхронно и нет блокировок, вы можете использовать
child_process.execFileдля вызова при запускеffmpeg:
const { execFile } = require('child_process'); execFile('ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); } else { console.log('Audio converted successfully'); } }); - Проверьте, что всё используется асинхронно и нет блокировок, вы можете использовать
Если никакие из вышеуказанных методов не работают, попробуйте выяснить, вызвана ли ошибка определенным контекстом выполнения, и возможно ли её устранение через изоляцию контекста или использование другой системы для теста.
-
- User
где именно это нужно сделать в коде ? index.js или transcriber.js ?
- Assistant
Вам нужно внести изменения в файл
transcriber.js, так как именно в этом файле выполняется вызов командыffmpegдля конвертации аудиофайлов.Вот как вы можете обновить код в
transcriber.js, чтобы использоватьexecFileиз модуляchild_process:Обновленный код в
transcriber.jsimport pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; // Используем execFile вместо execSync import path from 'path'; const { Model, Recognizer } = pkg; // Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); } pkg.setLogLevel(0); const model = new Model(MODEL_PATH); export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); // Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); execFile('ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } else { console.log('Audio converted successfully'); // Далее использование Vosk для транскрибирования аудио const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); } }); }); };Основные изменения:
-
Использование
execFileизchild_process: Это позволяет асинхронно выполнить командуffmpeg, не блокируя основной поток программы и обрабатывая стандартный вывод и ошибки в колбэке. -
Перенос обработчика ошибок: Ошибки во время выполнения
ffmpegобрабатываются в колбэке, что позволяет лучше отслеживать проблему на этапе конвертации.
Теперь, даже если
ffmpegвсе еще не работает из-за какой-либо системной настройки, ошибки будут лучше отслеживаться и логироваться для дальнейшей диагностики. -
- User
stdout, stderr не используются
- Assistant
Понял, вы правы — в текущей версии кода параметры
stdoutиstderrизexecFileне используются. Это можно исправить, поскольку в некоторых сценариях вы можете захотеть логировать или отлаживать информацию, поступающую через эти потоки.Хотя они не используются в данной функции прямо сейчас, их добавление может помочь в отладке. Вот как вы можете изменить код, чтобы включить логирование из
stderr:Модифицированный код в
transcriber.jsс использованиемstderr:import pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; // Используем execFile import path from 'path'; const { Model, Recognizer } = pkg; // Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); } pkg.setLogLevel(0); const model = new Model(MODEL_PATH); export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); // Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); execFile('ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); // Логируем ошибки/предупреждения FFmpeg } console.log('Audio converted successfully'); // Далее использование Vosk для транскрибирования аудио const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }); }); };Изменения и пояснения:
-
Логирование
stderr: Я добавил логирование дляstderr, чтобы вы могли видеть любые предупреждения или ошибки, которые могут возникнуть при выполненииffmpeg. -
Почему это полезно: Встроенные предупреждения или ошибки, выводимые
ffmpeg, могут предоставить полезную информацию о том, почему команда работает некорректно — например, если возникает ошибка с правами доступа или файлом.
Надеюсь, эти изменения помогут вам в диагностике и восстановлении работы вашего бота с аудиофайлами.
-
- User
ранее ты писал что нужно использовать данный код const ffmpegPath = 'C:\path\to\ffmpeg\bin\ffmpeg.exe'; // Обратные слеши удвоены execSync(
${ffmpegPath} -y -i "${filePath}" -ar ${SAMPLE_RATE} -ac 1 "${wavPath}"); но потом прислал без его изменения , он уже не нужен ? - Assistant
Уточню: использование полного пути к
ffmpeg.exeможет быть временным решением, если у вас не получается настроить системную переменнуюPATHдолжным образом. Однако, еслиffmpegуже правильно добавлен вPATH, как уже видно из вашего успешного выполненияffmpeg -version, то указание полного пути вexecSync/execFileобычно не требуется.Тем не менее, если вы все еще сталкиваетесь с проблемами и желаете убедиться, что проблема не в локализации
ffmpeg, вы можете использовать указание полного пути, чтобы четко указать местоположение исполняемого файла.Использование полного пути в
transcriber.jsimport pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; // Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; // Убедитесь, что указали правильный путь к ffmpeg.exe const ffmpegPath = 'C:\\path\\to\\ffmpeg\\bin\\ffmpeg.exe'; if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); } pkg.setLogLevel(0); const model = new Model(MODEL_PATH); export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); // Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); execFile(ffmpegPath, ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); // Далее использование Vosk для транскрибирования аудио const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }); }); };Пояснение:
- Полный путь
ffmpegPath: Если вы все еще сталкиваетесь с проблемой, несмотря на установкуffmpegв PATH, явное указание пути кffmpeg.exeможет помочь избежать ошибок с его обнаружением во время выполнения скрипта. - Убедитесь в правильности пути: Проверьте правильность указания пути и обратных слешей у
ffmpegPath, чтобы избежать любых ошибок в синтаксисе. - Использование
execFile: Данный метод позволяет асинхронно запускать внешние программы и обрабатывать вывод более удобно.
Если после этих изменений проблемы не решатся, может быть полезным перезапустить вашу систему или инструмент разработки, чтобы изменения PATH гарантированно вступили в силу.
- Полный путь
- User
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client';
// Глобальные обработчики для необработанных ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; let voskReady = false; // Флаг для отслеживания готовности Vosk
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Запуск инициализации клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
// Запуск инициализации Vosk в фоновом режиме initializeVosk().then(() => { console.log('Vosk model initialized'); voskReady = true; });
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка еще не готова. Попробуйте позже.'); return; }
try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); import pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; // Используем execFile вместо execSync import path from 'path';
const { Model, Recognizer } = pkg;
// Путь к вашей модели Vosk const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); process.exit(1); }
pkg.setLogLevel(0);
const model = new Model(MODEL_PATH);
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
// Конвертация MP3 в WAV const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } else { console.log('Audio converted successfully'); // Далее использование Vosk для транскрибирования аудио const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); } }, );}); }; $ node index.js file:///E:/program/bot-tg/index.js:6 import { transcribeAudio, initializeVosk } from './src/transcriber.js'; ^^^^^^^^^^^^^^ SyntaxError: The requested module './src/transcriber.js' does not provide an export nam ed 'initializeVosk' at ModuleJob._instantiate (node:internal/modules/esm/module_job:134:21) at async ModuleJob.run (node:internal/modules/esm/module_job:217:5) at async ModuleLoader.import (node:internal/modules/esm/loader:316:24) at async asyncRunEntryPointWithESMLoader (node:internal/modules/run_main:123:5)
Node.js v20.16.0
- Assistant
Ошибка, которую вы видите, указывает на то, что в модуле
transcriber.jsотсутствует экспорт функцииinitializeVosk, хотя она импортирована в вашемindex.js. Похоже, что мы упустили эту функцию в процессе обсуждения. Давайте исправим это, добавив соответствующую функцию вtranscriber.js.Полный код
transcriber.jsсinitializeVoskimport pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; pkg.setLogLevel(0); export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); } try { const model = new Model(MODEL_PATH); console.log('Vosk model loaded'); resolve(model); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); } }); }; export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); execFile('ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }); }); };Объяснение:
-
Функция
initializeVosk: Я добавил экспортируемую функциюinitializeVoskдля инициализации модели Vosk. Эта функция возвращает промис и должна быть вызвана изindex.jsдля загрузки модели. -
Инициализация модели Vosk:
- Функция возвращает промис, который либо разрешается с загруженной моделью, либо отклоняется в случае ошибки.
-
При вызове
initializeVoskизindex.js, убедитесь, что вы обрабатываете промис корректно.
Теперь, при импорте
initializeVoskвindex.js, у вас не должно возникнуть ошибок, связанных с отсутствием этого экспорта. Это должно помочь вам успешно запустить программу без указанных ошибок. -
- User
все равно бот не реагирует сразу на текст.. ждет пока загрузится видимо библиотека vosk , очень много времени уже прошло..потом сразу ответит на все вопросом разом
- Assistant
Если ваш бот не реагирует на текстовые сообщения, пока полностью не загрузится модель Vosk, это может указывать на блокировку процесса во время инициализации. Давайте попробуем добиться немедленной реакции на текстовые сообщения, независимо от инициализации Vosk, путем переработки стратегии инициализации.
Решение
- Инициализация Vosk в полностью изолированном контексте: Убедимся, что инициализация Vosk происходит асинхронно и отдельно от основного потока, влияющего на текстовые сообщения.
Обновлённый
index.jsimport { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client'; process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], }; try { console.log(`Отправка на ${apiEndpoint}:`, parameters); const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.'; } catch (error) { console.error(`Ошибка во время запроса ${apiEndpoint}:`, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } } // Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Асинхронная инициализация Vosk (async () => { try { await initializeVosk(); voskReady = true; console.log('Vosk model initialized'); } catch (error) { console.error('Ошибка инициализации Vosk:', error); } })(); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); bot.launch(); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Пояснения
-
Асинхронный запуск Vosk: Теперь он выполняется в фоновой асинхронной функции, что позволяет основному боту запуститься и немедленно начать обрабатывать текстовые сообщения.
-
Изоляция процессов: Запуск Vosk не блокирует другие части кода, позволяя текстовым обработчикам немедленно реагировать.
Таким образом, даже при длительной инициализации Vosk, ваш бот сможет реагировать на текстовые сообщения в реальном времени.
- User
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client';
process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; let voskReady = false;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
// Асинхронная инициализация Vosk (async () => { try { await initializeVosk(); voskReady = true; console.log('Vosk model initialized'); } catch (error) { console.error('Ошибка инициализации Vosk:', error); } })();
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION;
if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; }
try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); import pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
pkg.setLogLevel(0);
export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); }
try { const model = new Model(MODEL_PATH); console.log('Vosk model loaded'); resolve(model); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); }}); };
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }, );}); }; $ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=7000 latt ice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan components. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/program/v osk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived variables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vosk-model -ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vosk-mode l-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-model-ru- 0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/program /vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/vosk/vos k-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/vosk/vos k-model-ru-0.42//rnnlm/final.raw Vosk model loaded Vosk model initialized Gradio client initialized Gradio client successfully initialized. Launching bot... Starting audio transcription Error during audio conversion: Error: spawn ffmpeg ENOENT at ChildProcess._handle.onexit (node:internal/child_process:286:19) at onErrorNT (node:internal/child_process:484:16) at process.processTicksAndRejections (node:internal/process/task_queues:82:21) { errno: -4058, code: 'ENOENT', syscall: 'spawn ffmpeg', path: 'ffmpeg', spawnargs: [ '-y', '-i', 'E:\program\bot-tg\voices\178999805.mp3', '-ar', '16000', '-ac', '1', 'E:\program\bot-tg\voices\178999805.wav' ], cmd: 'ffmpeg -y -i E:\program\bot-tg\voices\178999805.mp3 -ar 16000 -ac 1 E:\pro gram\bot-tg\voices\178999805.wav' } Ошибка при обработке голосового сообщения: spawn ffmpeg ENOENT
- Assistant
Ошибка
spawn ffmpeg ENOENTуказывает на то, что Node.js не может найти исполняемый файлffmpeg. Это происходит даже несмотря на то, что командаffmpeg -versionв командной строке работает, поскольку среда выполнения Node.js, возможно, не получает ту же переменную окруженияPATH. Давайте рассмотрим несколько способов решения этой проблемы:Решения
-
Убедитесь, что
ffmpegвPATH:Первая вещь, которую следует проверить, это то, что
ffmpegдействительно добавлен в системную переменнуюPATH, и вы перезапустили вашу терминальную среду после внесения изменений. -
Использовать полный путь к
ffmpeg:Так как
ffmpegобнаружен в командной строке, но не в Node.js, попробуйте использовать полный путь кffmpeg.exeв вашем коде, чтобы обойти ограниченияPATH:const ffmpegPath = 'C:\\path\\to\\ffmpeg\\bin\\ffmpeg.exe'; // Убедитесь, что указали правильный путь execFile( ffmpegPath, ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); // Остальной код... } ); -
Проверка прав доступа:
Убедитесь, что у вашего приложения Node.js есть все необходимые разрешения для выполнения
ffmpeg. -
Перезапустите вашу систему:
В некоторых случаях переменные окружения обновляются только после перезагрузки системы. Это может помочь убедиться, что любые изменения, связанные с PATH, вступили в силу во всех средах выполнения.
-
Логи и диагностика:
Если у вас есть возможность, добавьте логи к блокам обработки ошибок и проверьте текущие переменные окружения Node.js через
process.env.PATH, чтобы убедиться, чтоPATHкорректно установлен для вашей программы.
Эти шаги должны помочь позаботиться о проблеме с
ENOENT, и ваше приложение сможет корректно запускатьffmpegиз кода. -
- User
нужно ли было перезагрузить компьютер после того как внес в переменные среды ffmpeg ?
- Assistant
В большинстве случаев для того, чтобы изменения в переменной окружения
PATHвступили в силу, достаточно просто перезапустить командную строку или терминал, в котором вы работаете. Перезагружать весь компьютер обычно не требуется. Однако, если вы не перезапускаете терминал, он может по-прежнему использовать старые значения переменных среды.Тем не менее, есть несколько ситуаций, когда перезагрузка может быть полезной:
-
Системные обновления: Если вы вносили изменения или устанавливали обновления, которые могли затронуть системные настройки, перезагрузка может быть полезной.
-
Неоднородные результаты: Если после внесения изменения странным образом работают разные приложения (например, командная строка видит
ffmpeg, а приложение Node.js — нет), возможно, перезагрузка решит проблему. -
Для полной уверенности: Если вы испытываете трудности с обнаружением
ffmpegи никакие другие немедленные решения не помогли, перезагрузка может помочь причудливым образом устранить проблему.
Попробуйте перезапустить терминал, затем убедитесь, что
ffmpeg -versionработает как ожидалось, и только потом перезапустите приложение Node.js. Это должно обеспечить, чтобы PATH был обновлен корректно. Если проблемы сохраняются, использование полного пути в коде все еще остается надежным обходным решением. -
- User
тоесть если я использую BASH для запуска бота мне нужно перезапустить его ?
- Assistant
Да, если вы используете интерфейс командной строки, такой как Bash, и внесли изменения в системную переменную
PATH, вы обычно должны перезапустить Bash, чтобы изменения вступили в силу.Вот несколько шагов, которые можно предпринять:
-
Закройте и откройте окно терминала:
- Перезапуск терминала позволяет обновить установленные переменные окружения, включая изменения в
PATH.
- Перезапуск терминала позволяет обновить установленные переменные окружения, включая изменения в
-
Проверьте обновленный PATH:
- После перезапуска терминала введите
echo $PATH, чтобы убедиться, что путь кffmpegдействительно добавлен. - Также проверьте
ffmpeg -version, чтобы удостовериться, чтоffmpegдоступен из нового сеанса терминала.
- После перезапуска терминала введите
-
Запустите свой бот:
- Убедитесь, что начинается с обновленного контекста, чтобы эти изменения влияли на выполнение вашего бота.
Если вы часто изменяете переменные среды, лучше использовать скрипты shell или конфигурационные файлы (например,
.bashrc,.bash_profileв Unix системах или аналогичные в Windows) для применения таких изменений автоматически при запуске новых терминальных сеансов. -
- User
хорошо я перезапустил, заново запустил бота, но также он не реагирует на текст, ждет пока загрузится библиотека vosk
- Assistant
Если ваш бот не реагирует на текстовые сообщения, пока загружается библиотека Vosk, это указывает на блокировку в ходе инициализации, которая мешает доступу к другим частям приложения. Поскольку Vosk может потребовать значительных ресурсов для инициализации модели, следует убедиться, что этот процесс выполняется асинхронно и не блокирует основной поток вашего приложения. Вот как мы можем это исправить:
-
Инициализация Vosk отдельно от основного потока:
- Убедитесь, что инициализация Vosk выполняется фоновым процессом и не мешает запуску бота и обработке текстовых сообщений.
-
Перепроверьте изоляцию инициализации:
- Давайте убедимся, что структура кода правильная:
Обновление
index.jsдля немедленной обработки текстовых сообщенийimport { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client'; process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; // Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); bot.launch(); // Запуск бота в этом месте, не блокируя Vosk }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Асинхронная инициализация Vosk в фоновом режиме initializeVosk() .then(() => { voskReady = true; console.log('Vosk model initialized'); }) .catch((error) => { console.error('Ошибка инициализации Vosk:', error); }); // Использование session middleware bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Важные моменты:
-
Запуск бота (
bot.launch()) выполняется сразу после инициализации Gradio и происходит независимо от загрузки Vosk. Это позволяет обработку текстов начать немедленно, без задержек. -
Асинхронная инициализация Vosk происходит в фоне, чтобы не мешать текстовым операциям в боте.
Проверьте изоляцию и, если проблема сохраняется, поставьте больше логов, чтобы понять, что происходит во время выполнения и блокировки.
-
- User
$ node index.js Uncaught Exception: ReferenceError: initGradioClient is not defined at file:///E:/program/bot-tg/index.js:28:1 at ModuleJob.run (node:internal/modules/esm/module_job:222:25) at async ModuleLoader.import (node:internal/modules/esm/loader:316:24) at async asyncRunEntryPointWithESMLoader (node:internal/modules/run_main:123 :5)
- Assistant
Ошибка
ReferenceError: initGradioClient is not definedговорит о том, что функцияinitGradioClientлибо не определена в вашем файле, либо определена позже, чем вызывается. Давайте убедимся, что она правильно определена и вызывается. Посмотрим, как её следует интегрировать в код:Исправленный фрагмент кода
index.jsЭтот фрагмент включает полную реализацию функции
initGradioClientи её правильное расположение в коде:import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client'; process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; // Определение функции initGradioClient async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } // Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); bot.launch(); // Переместите эту строку сюда для немедленного запуска бота }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); }); // Асинхронная инициализация Vosk в фоновом режиме initializeVosk() .then(() => { voskReady = true; console.log('Vosk model initialized'); }) .catch((error) => { console.error('Ошибка инициализации Vosk:', error); }); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); // Здесь вы указываете остальные обработчики bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Основные моменты:
-
Функция
initGradioClientдолжна быть определена перед её использованием. Убедитесь, что она функциональна и определена раньше в вашем коде. -
Запуск бота (
bot.launch()) должен происходить после успешной инициализации клиента Gradio, что позволяет ему немедленно реагировать на текстовые сообщения.
С этими изменениями, бот должен начать работать корректно, сразу реагируя на текстовые сообщения в Telegram.
-
- User
все равно бот не реагирует на текст пока загружается vosk
- Assistant
Если бот все равно не отвечает на текстовые сообщения, пока загружается Vosk, несмотря на все попытки асинхронной инициализации, это указывает на то, что может быть задержка в том, как происходит управление асинхронными процессами в вашем приложении. Чтобы решить эту проблему, убедимся, что все асинхронные операции выполняются правильно и переподключим инициализацию Vosk таким образом, чтобы она не влияло на основной поток обработки текста.
Шаги для исправления
-
Перенесем запуск бота из инициализации клиентов:
- Убедимся, что обработка текстовых сообщений запускается независимо от состояния Vosk.
-
Логирование состояния
voskReady:- Добавим дополнительные логи, чтобы убедиться, что состояние загружается корректно.
Обновленный код
index.jsimport { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client'; // Обработчики ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); }); process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); }); const INITIAL_SESSION = { messages: [], }; const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN); let gradioClient; let voskReady = false; async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } } // Инициализация клиентов (async () => { try { gradioClient = await initGradioClient(); console.log('Gradio client successfully initialized.'); // Запускаем бота здесь bot.launch(); console.log('Bot launched.'); // Инициализация Vosk без блокировки других процессов initializeVosk().then(() => { voskReady = true; console.log('Vosk model initialized'); }).catch((e) => { console.error('Ошибка инициализации Vosk:', e); }); } catch (e) { console.error('Ошибка во время инициализации:', e); } })(); bot.use(session()); bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); }); bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } }); bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } }); process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));Пояснения:
- Асинхронная инициализация: Теперь инициализация Vosk и Gradio выполняется в одном оберточном async-фонетическом вызове, который сразу запускает бота, не дожидаясь завершения всех этапов.
- Логирование: Используйте логирование для отслеживания этапов выполнения, чтобы понять, где бот может запаздывать.
Теперь бот должен реагировать на текстовые сообщения сразу после запуска без блокировки, ожидая полной загрузки Vosk.
-
- User
$ node index.js Gradio client initialized Gradio client successfully initialized. Bot launched. LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=70 00 lattice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan compon ents. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/pr ogram/vosk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived va riables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vos k-model-ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vo sk-model-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-mo del-ru-0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/ program/vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/v osk/vosk-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/v osk/vosk-model-ru-0.42//rnnlm/final.raw
это написано в BASH в это время я в телеграмме спрашиваю бота и он не отвечает.. потом спустя несколько минут он ответит на все вопросы сразу.. не понимаю почему такая задержка времени
- Assistant
Если бот отвечает на все запросы только после завершения инициализации Vosk, это указывает на то, что где-то в процессах обработки сообщений возникает блокировка. Далее мы рассмотрим возможные причины и пути их устранения:
Возможные причины блокировки и их решения:
-
Блокировка процесса инициализации:
- Убедитесь, что инициализация Vosk выполняется асинхронно и не влияет на основной поток, как было описано ранее.
-
Проблемы с производительностью:
- Загрузка больших моделей Vosk может быть ресурсоемкой операцией. Убедитесь, что у вашей системы достаточно оперативной памяти и процессорных единиц для выполнения параллельных задач.
-
Асинхронные операции:
- Проверьте, что вся работа с Vosk и другими библиотеками (такими как Gradio) действительно выполняется в неблокирующем асинхронном режиме. Убедитесь, что нет неосознанных синхронных блокировок, таких как
execFileSyncи т.д.
- Проверьте, что вся работа с Vosk и другими библиотеками (такими как Gradio) действительно выполняется в неблокирующем асинхронном режиме. Убедитесь, что нет неосознанных синхронных блокировок, таких как
-
Логирование и отладка:
- Добавьте логирование в ключевые места кода, особенно в обработчики сообщений бота и инициализацию Vosk, чтобы отследить, на каком этапе происходит задержка.
Предложения по улучшению
- Изолируйте тяжелые операции:
Проверьте, является ли Vosk только камнем преткновения, изолируя обработку голосовых сообщений от текстовых.
- Разделение логики обработки сообщений:
Убедитесь, что обработка текстов (особенно текста, не связанного с существующими задачами на бот) осуществляется без блокировок:
bot.on('message', async (ctx) => { ctx.session ??= INITIAL_SESSION; if (ctx.message.text) { handleTextMessage(ctx); } else if (ctx.message.voice) { handleVoiceMessage(ctx); } // остальные типы сообщений можно обрабатывать аналогично }); async function handleTextMessage(ctx) { const text = ctx.message.text; if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...')); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); } } } async function handleVoiceMessage(ctx) { if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); } }Будет также полезно проверить нагрузку на CPU и память при запуске бота для выявления узких мест в производительности. Это должно помочь выявить проблемы и ускорить реагирование бота на текстовые запросы.
-
- User
ну вот код , проверь мешает ли загрузка vosk работать параллельно текстовым ответам или нет import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client';
// Обработчики ошибок process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; let voskReady = false;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
// Инициализация клиентов (async () => { try { gradioClient = await initGradioClient(); console.log('Gradio client successfully initialized.');
// Запускаем бота здесь bot.launch(); console.log('Bot launched.'); // Инициализация Vosk без блокировки других процессов initializeVosk() .then(() => { voskReady = true; console.log('Vosk model initialized'); }) .catch((e) => { console.error('Ошибка инициализации Vosk:', e); });} catch (e) { console.error('Ошибка во время инициализации:', e); } })();
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION;
if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; }
try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));
- Assistant
Ваш код выглядит в целом правильно, и на первый взгляд кажется, что взаимная блокировка между обработкой текстовых сообщений и инициализацией Vosk не должна происходить. Тем не менее, задержка в ответе на текстовые сообщения может быть связана с другими факторами, оказывающими влияние в вашем окружении. Давайте еще раз рассмотрим картину и сделаем некоторые предложения:
Проверка на блокировку:
-
Асинхронная инициализация Vosk:
- Вы используете асинхронный метод инициализации Vosk через
initializeVosk(), который работает в фоновом режиме. Это правильно, поскольку он обещает не блокировать основной поток.
- Вы используете асинхронный метод инициализации Vosk через
-
Текущий контекст выполнения:
- Убедитесь, что аппаратные ресурсы вашей машины достаточно мощные для параллельной обработки данных. Загрузка моделей Vosk может занять много времени и ресурсов.
-
Мониторинг производительности:
- Используйте инструменты мониторинга для проверки загрузки процессора и памяти во время выполнения. Высокая загрузка может замедлить выполнение.
Предложения:
-
Логирование времени:
- Добавьте логирование времени обработки для каждого текстового сообщения, это поможет понять временные задержки на каждом этапе:
bot.on(message('text'), async (ctx) => { console.log(`Received message at: ${new Date().toISOString()}`); // остальной код обработки... }); -
Изолированное тестирование:
- Попробуйте временно отключить или пересчитайте время выполнения
initializeVosk(например, добавивsetTimeoutперед его вызовом), чтобы полностью убедиться, что инициализация Vosk не влияет на текстовые ответы.
- Попробуйте временно отключить или пересчитайте время выполнения
-
Изолированное исполнение:
- Запустите только те обработчики, которые вам нужны (например, временно отключите голосовую обработку), чтобы проверить, вызвана ли задержка другими частями системы.
Если вышеуказанные предложения не помогут выявить причину проблемы, это также может быть сетевой задержкой или ограничением на полном обращении к ресурсу, который проводят текстовые обработки. В таком случае проверка подключения к Интернету и отношение сетевой латентности также может помочь.
-
- User
Starting audio transcription FFmpeg stderr: ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2 024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-conf ig=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw 32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable- pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi - -enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfb uzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --dis able-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --en able-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable- libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-c uda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcap tion --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --en able-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal - -enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enab le-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --en able-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable- libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libv venc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enab le-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w6 4-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranl ib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version= 20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100 Input #0, mp3, from 'E:\program\bot-tg\voices\178999805.mp3': Metadata: encoder : Lavf58.24.101 Duration: 00:00:01.30, start: 0.023021, bitrate: 65 kb/s Stream #0:0: Audio: mp3 (mp3float), 48000 Hz, mono, fltp, 64 kb/s Stream mapping: Stream #0:0 -> #0:0 (mp3 (mp3float) -> pcm_s16le (native)) Press [q] to stop, [?] for help Output #0, wav, to 'E:\program\bot-tg\voices\178999805.wav': Metadata: ISFT : Lavf61.9.100 Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 16000 Hz, mono, s16, 25 6 kb/s Metadata: encoder : Lavc61.22.100 pcm_s16le [out#0/wav @ 0000011f2cebc940] video:0KiB audio:39KiB subtitle:0KiB other stream s:0KiB global headers:0KiB muxing overhead: 0.193452% size= 39KiB time=00:00:01.26 bitrate= 256.5kbits/s speed=15.9x
Audio converted successfully Uncaught Exception: ReferenceError: model is not defined at file:///E:/program/bot-tg/src/transcriber.js:52:38 at ChildProcess.exithandler (node:child_process:414:7) at ChildProcess.emit (node:events:519:28) at maybeClose (node:internal/child_process:1105:16) at ChildProcess._handle.onexit (node:internal/child_process:305:5)
- Assistant
Ошибка
ReferenceError: model is not definedуказывает на то, что переменнаяmodelне была объявлена или недоступна в пределах, где она используется в вашем коде. В контексте функцииtranscribeAudioвы используете переменнуюmodel, которая должна быть создана и доступна из функцииinitializeVosk.Объяснение и предложения:
-
Проблема с областью видимости:
- Убедитесь, что переменная
model, которую вы инициализируете вinitializeVosk, доступна вtranscribeAudio. Это может быть сделано через замыкание или экспорт переменной.
- Убедитесь, что переменная
-
Используйте глобальную переменную для хранения модели:
- Делайте
modelглобальной переменной, чтобы она была доступна из любой функции в модуле:
- Делайте
Исправление в
transcriber.jsimport pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; pkg.setLogLevel(0); let model = null; // Глобально доступная переменная для модели export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); } try { model = new Model(MODEL_PATH); // Инициализируем глобальную модель console.log('Vosk model loaded'); resolve(); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); } }); }; export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); // Проверяем, инициализирована ли модель перед использованием if (model === null) { return reject(new Error('Vosk model not initialized')); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }, ); }); };Что было изменено:
- Глобализация
model: Теперьmodelинициализируется как глобальная переменная, что позволяет использовать её в функцииtranscribeAudio. - Проверка инициализации: Добавлена проверка на недоступность модели перед её использованием, чтобы избежать ошибок, связанных с неинициализированной моделью.
С этими изменениями модель Vosk должна быть правильно доступна везде, где необходимо, и ошибки
ReferenceErrorдолжны исчезнуть. -
- User
import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client';
process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; let voskReady = false;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
// Асинхронная инициализация Vosk (async () => { try { await initializeVosk(); voskReady = true; console.log('Vosk model initialized'); } catch (error) { console.error('Ошибка инициализации Vosk:', error); } })();
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION;
if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; }
try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM')); import pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path';
const { Model, Recognizer } = pkg;
const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000;
pkg.setLogLevel(0);
let model = null; // Глобально доступная переменная для модели
export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); }
try { model = new Model(MODEL_PATH); // Инициализируем глобальную модель console.log('Vosk model loaded'); resolve(); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); }}); };
export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription');
const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); // Проверяем, инициализирована ли модель перед использованием if (model === null) { return reject(new Error('Vosk model not initialized')); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Audio transcription completed'); resolve(JSON.parse(result).text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); }, );}); }; $ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=70 00 lattice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan compon ents. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/pr ogram/vosk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived va riables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vos k-model-ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vo sk-model-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-mo del-ru-0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/ program/vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/v osk/vosk-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/v osk/vosk-model-ru-0.42//rnnlm/final.raw Vosk model loaded Vosk model initialized Gradio client initialized Gradio client successfully initialized. Launching bot... Отправка на /predict: { inputs: 'ты тут ?', top_p: 1, temperature: 1, chat_counter: 0, chatbot: [] } Да, я здесь. Как я могу помочь? Starting audio transcription FFmpeg stderr: ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2 024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-conf ig=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw 32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable- pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi - -enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfb uzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --dis able-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --en able-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable- libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-c uda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcap tion --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --en able-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal - -enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enab le-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --en able-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable- libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libv venc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enab le-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w6 4-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranl ib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version= 20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100 Input #0, mp3, from 'E:\program\bot-tg\voices\178999805.mp3': Metadata: encoder : Lavf58.24.101 Duration: 00:00:02.98, start: 0.023021, bitrate: 64 kb/s Stream #0:0: Audio: mp3 (mp3float), 48000 Hz, mono, fltp, 64 kb/s Stream mapping: Stream #0:0 -> #0:0 (mp3 (mp3float) -> pcm_s16le (native)) Press [q] to stop, [?] for help Output #0, wav, to 'E:\program\bot-tg\voices\178999805.wav': Metadata: ISFT : Lavf61.9.100 Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 16000 Hz, mono, s16, 25 6 kb/s Metadata: encoder : Lavc61.22.100 pcm_s16le [out#0/wav @ 0000021417a8aac0] video:0KiB audio:92KiB subtitle:0KiB other stream s:0KiB global headers:0KiB muxing overhead: 0.082908% size= 92KiB time=00:00:02.94 bitrate= 256.2kbits/s speed= 599x
Audio converted successfully Audio transcription completed Error during transcription: SyntaxError: "[object Object]" is not valid JSON at JSON.parse () at ReadStream. (file:///E:/program/bot-tg/src/transcriber.js:70:2 6) at ReadStream.emit (node:events:519:28) at endReadableNT (node:internal/streams/readable:1696:12) at process.processTicksAndRejections (node:internal/process/task_queues:82:2 1) Ошибка при обработке голосового сообщения: "[object Object]" is not valid JSON
- Assistant
Ошибка
"[object Object]" is not valid JSONуказывает на то, что результат, возвращаемый от Vosk, является объектом, который вы пытаетесь разобрать как JSON, но строковое представление объекта ([object Object]) не является допустимой JSON-строкой. Это может возникнуть, если вы пытаетесь передать объект как строку, например вJSON.parse. Давайте подробно разберем, как это исправить.Варианты решения ошибки:
-
Проверьте, какой результат возвращает Vosk:
- Убедитесь, что метод
rec.finalResult()возвращает строку в формате JSON. Если он возвращает объект, его сначала нужно привести в строковой вид, используяJSON.stringify():
- Убедитесь, что метод
-
Логирование результата:
- Добавьте лог для вывода значения, которое возвращает
rec.finalResult()для проверки, что оно собой представляет:
- Добавьте лог для вывода значения, которое возвращает
Обновленный код в
transcriber.jsimport pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; pkg.setLogLevel(0); let model = null; // Глобально доступная переменная для модели export const initializeVosk = () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); } try { model = new Model(MODEL_PATH); // Инициализируем глобальную модель console.log('Vosk model loaded'); resolve(); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); } }); }; export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); // Проверяем, инициализирована ли модель перед использованием if (model === null) { return reject(new Error('Vosk model not initialized')); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Raw transcription result:', result); // Лог результата // Убедитесь, что результат является строкой JSON if (typeof result === 'string') { resolve(JSON.parse(result).text); } else { // Если результат — объект, возможно, требуется stringifying const parsedResult = JSON.parse(JSON.stringify(result)); resolve(parsedResult.text); } } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); } ); }); };Пояснения:
- Логирование результата: Добавляем логирование для
result, чтобы проверить, каков реальный результат вызоваrec.finalResult(). - Проверка типа результата: Проверяем, является ли
resultстрокой. Если он является объектом, переводим его в строковый вид с помощьюJSON.stringify(), а затем парсим как JSON.
Эти изменения должны помочь исправить ошибку с json парсингом и позволить корректное использование возвращаемых данных.
-
- User
$ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=70 00 lattice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan compon ents. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/pr ogram/vosk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived va riables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vos k-model-ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vo sk-model-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-mo del-ru-0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/ program/vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/v osk/vosk-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/v osk/vosk-model-ru-0.42//rnnlm/final.raw Vosk model loaded Vosk model initialized Gradio client initialized Gradio client successfully initialized. Launching bot... Starting audio transcription FFmpeg stderr: ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2 024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-conf ig=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw 32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable- pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi - -enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfb uzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --dis able-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --en able-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable- libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-c uda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcap tion --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --en able-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal - -enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enab le-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --en able-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable- libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libv venc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enab le-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w6 4-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranl ib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version= 20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100 Input #0, mp3, from 'E:\program\bot-tg\voices\178999805.mp3': Metadata: encoder : Lavf58.24.101 Duration: 00:00:04.34, start: 0.023021, bitrate: 64 kb/s Stream #0:0: Audio: mp3 (mp3float), 48000 Hz, mono, fltp, 64 kb/s Stream mapping: Stream #0:0 -> #0:0 (mp3 (mp3float) -> pcm_s16le (native)) Press [q] to stop, [?] for help Output #0, wav, to 'E:\program\bot-tg\voices\178999805.wav': Metadata: ISFT : Lavf61.9.100 Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 16000 Hz, mono, s16, 25 6 kb/s Metadata: encoder : Lavc61.22.100 pcm_s16le [out#0/wav @ 000002328a59ccc0] video:0KiB audio:135KiB subtitle:0KiB other strea ms:0KiB global headers:0KiB muxing overhead: 0.056424% size= 135KiB time=00:00:04.32 bitrate= 256.1kbits/s speed= 698x
Audio converted successfully Raw transcription result: { text: 'кеша в каком году была первая великая война' } ответ он не вернул
- Assistant
Теперь, когда мы видим, что ваша программа выводит "Raw transcription result" как объект, а не строку JSON, это означает, что ошибка произошла из-за неверного предположения о типе данных, возвращаемых
rec.finalResult(). Этот результат является объектом JavaScript, а не строкой JSON, поэтому его не следует передавать вJSON.parse(). Вместо этого, вы можете напрямую работать с этим объектом.Давайте исправим ваш код так, чтобы он корректно обрабатывал объект:
Исправленный код в
transcriber.jsexport const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); if (model === null) { return reject(new Error('Vosk model not initialized')); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Raw transcription result:', result); // Убедитесь, что результатом является объект // Извлекаем текст из объекта результата resolve(result.text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); } ); }); };Объяснение изменений:
-
Обработка объекта
result: Мы исключили попытки разобрать объект результата как JSON, поскольку он уже является объектом. Вместо этого мы извлекаем текст напрямую черезresult.text. -
Избежание
JSON.parse(): Посколькуresultявляется объектом, дополнительные преобразования не требуются. Просто используйтеresult.textдля получения результата транскрипции.
С этими изменениями ваша функция должна корректно обрабатывать результат и возвращать текст транскрипции без ошибок. Вижу, что в вашем примере результат распознавания - "кеша в каком году была первая великая война", теперь его должно быть видно в ответах бота в Telegram.
-
- User
$ node index.js file:///E:/program/bot-tg/index.js:6 import { transcribeAudio, initializeVosk } from './src/transcriber.js'; ^^^^^^^^^^^^^^ SyntaxError: The requested module './src/transcriber.js' does not provide an exp ort named 'initializeVosk' at ModuleJob._instantiate (node:internal/modules/esm/module_job:134:21) at async ModuleJob.run (node:internal/modules/esm/module_job:217:5) at async ModuleLoader.import (node:internal/modules/esm/loader:316:24) at async asyncRunEntryPointWithESMLoader (node:internal/modules/run_main:123 :5)
Node.js v20.16.0
- Assistant
Ошибка
SyntaxError: The requested module './src/transcriber.js' does not provide an export named 'initializeVosk'говорит о том, что в файлеtranscriber.jsотсутствует экспорт функцииinitializeVosk. Давайте убедимся, что эта функция правильно экспортирована в вашем модулеtranscriber.js.Процесс исправления
Код в
transcriber.jsдолжен содержать правильное определение и экспорт функцииinitializeVosk:Обновите
transcriber.jsследующим образом:import pkg from 'vosk'; import fs from 'fs'; import { execFile } from 'child_process'; import path from 'path'; const { Model, Recognizer } = pkg; const MODEL_PATH = 'e:/program/vosk/vosk-model-ru-0.42/'; const SAMPLE_RATE = 16000; pkg.setLogLevel(0); let model = null; // Глобально доступная переменная для модели // Функция инициализации Vosk export const initializeVosk = async () => { return new Promise((resolve, reject) => { if (!fs.existsSync(MODEL_PATH)) { console.error('Модель Vosk не найдена'); return reject('Модель Vosk не найдена'); } try { model = new Model(MODEL_PATH); // Инициализируем глобальную модель console.log('Vosk model loaded'); resolve(); } catch (error) { console.error('Ошибка при загрузке модели Vosk:', error); reject(error); } }); }; // Функция транскрипции аудио export const transcribeAudio = (filePath) => { return new Promise((resolve, reject) => { console.log('Starting audio transcription'); const wavPath = filePath.replace('.mp3', '.wav'); execFile( 'ffmpeg', ['-y', '-i', filePath, '-ar', SAMPLE_RATE.toString(), '-ac', '1', wavPath], (error, stdout, stderr) => { if (error) { console.error('Error during audio conversion:', error); return reject(error); } if (stderr) { console.error('FFmpeg stderr:', stderr.toString()); } console.log('Audio converted successfully'); if (model === null) { return reject(new Error('Vosk model not initialized')); } const rec = new Recognizer({ model, sampleRate: SAMPLE_RATE }); const audioStream = fs.createReadStream(path.resolve(wavPath), { highWaterMark: 4096 }); audioStream.on('data', (data) => { rec.acceptWaveform(data); }); audioStream.on('end', () => { try { const result = rec.finalResult(); console.log('Raw transcription result:', result); resolve(result.text); } catch (err) { console.error('Error during transcription:', err); reject(err); } finally { rec.free(); } }); audioStream.on('error', (err) => { console.error('Error in audio stream:', err); reject(err); }); } ); }); };Пояснение:
-
Экспорт
initializeVosk: ФункцияinitializeVoskдолжна быть экспортирована черезexport, чтобы её можно было импортировать в другом модуле, таком какindex.js. -
Убедитесь, что модель Vosk инициализирована: Функция
initializeVoskзаботится об этом и представляет собой асинхронный промис, который можно обрабатывать по аналогии с другой асинхронной логикой вindex.js.
Помните о том, чтобы сохранить все изменения и проверить, что в файле
index.jsправильно импортируются все небоходимые функции. -
- User
$ node index.js LOG (VoskAPI:ReadDataFiles():model.cc:213) Decoding params beam=13 max-active=70 00 lattice-beam=6 LOG (VoskAPI:ReadDataFiles():model.cc:216) Silence phones 1:2:3:4:5:6:7:8:9:10 LOG (VoskAPI:RemoveOrphanNodes():nnet-nnet.cc:948) Removed 1 orphan nodes. LOG (VoskAPI:RemoveOrphanComponents():nnet-nnet.cc:847) Removing 2 orphan compon ents. LOG (VoskAPI:Collapse():nnet-utils.cc:1488) Added 1 components, removed 2 LOG (VoskAPI:ReadDataFiles():model.cc:248) Loading i-vector extractor from e:/pr ogram/vosk/vosk-model-ru-0.42//ivector/final.ie LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:183) Computing derived va riables for iVector extractor LOG (VoskAPI:ComputeDerivedVars():ivector-extractor.cc:204) Done. LOG (VoskAPI:ReadDataFiles():model.cc:279) Loading HCLG from e:/program/vosk/vos k-model-ru-0.42//graph/HCLG.fst LOG (VoskAPI:ReadDataFiles():model.cc:294) Loading words from e:/program/vosk/vo sk-model-ru-0.42//graph/words.txt LOG (VoskAPI:ReadDataFiles():model.cc:303) Loading winfo e:/program/vosk/vosk-mo del-ru-0.42//graph/phones/word_boundary.int LOG (VoskAPI:ReadDataFiles():model.cc:310) Loading subtract G.fst model from e:/ program/vosk/vosk-model-ru-0.42//rescore/G.fst LOG (VoskAPI:ReadDataFiles():model.cc:312) Loading CARPA model from e:/program/v osk/vosk-model-ru-0.42//rescore/G.carpa LOG (VoskAPI:ReadDataFiles():model.cc:318) Loading RNNLM model from e:/program/v osk/vosk-model-ru-0.42//rnnlm/final.raw Vosk model loaded Vosk model initialized Gradio client initialized Gradio client successfully initialized. Launching bot... Starting audio transcription FFmpeg stderr: ffmpeg version N-117612-gc98810ab47-20241019 Copyright (c) 2000-2 024 the FFmpeg developers built with gcc 14.2.0 (crosstool-NG 1.26.0.120_4d36f27) configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-conf ig=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw 32 --enable-gpl --enable-version3 --disable-debug --disable-w32threads --enable- pthreads --enable-iconv --enable-zlib --enable-libfreetype --enable-libfribidi - -enable-gmp --enable-libxml2 --enable-lzma --enable-fontconfig --enable-libharfb uzz --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --dis able-libxcb --disable-xlib --enable-amf --enable-libaom --enable-libaribb24 --en able-avisynth --enable-chromaprint --enable-libdav1d --enable-libdavs2 --enable- libdvdread --enable-libdvdnav --disable-libfdk-aac --enable-ffnvcodec --enable-c uda-llvm --enable-frei0r --enable-libgme --enable-libkvazaar --enable-libaribcap tion --enable-libass --enable-libbluray --enable-libjxl --enable-libmp3lame --en able-libopus --enable-librist --enable-libssh --enable-libtheora --enable-libvpx --enable-libwebp --enable-libzmq --enable-lv2 --enable-libvpl --enable-openal - -enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enab le-libopenjpeg --enable-libopenmpt --enable-librav1e --enable-librubberband --en able-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --enable-vaapi --enable- libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --enable-libv venc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enab le-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-libs=-lgomp --extra-ldflags=-pthread --extra-ldexeflags= --cc=x86_64-w6 4-mingw32-gcc --cxx=x86_64-w64-mingw32-g++ --ar=x86_64-w64-mingw32-gcc-ar --ranl ib=x86_64-w64-mingw32-gcc-ranlib --nm=x86_64-w64-mingw32-gcc-nm --extra-version= 20241019 libavutil 59. 44.100 / 59. 44.100 libavcodec 61. 22.100 / 61. 22.100 libavformat 61. 9.100 / 61. 9.100 libavdevice 61. 4.100 / 61. 4.100 libavfilter 10. 6.100 / 10. 6.100 libswscale 8. 6.100 / 8. 6.100 libswresample 5. 4.100 / 5. 4.100 libpostproc 58. 4.100 / 58. 4.100 Input #0, mp3, from 'E:\program\bot-tg\voices\178999805.mp3': Metadata: encoder : Lavf58.24.101 Duration: 00:00:02.50, start: 0.023021, bitrate: 64 kb/s Stream #0:0: Audio: mp3 (mp3float), 48000 Hz, mono, fltp, 64 kb/s Stream mapping: Stream #0:0 -> #0:0 (mp3 (mp3float) -> pcm_s16le (native)) Press [q] to stop, [?] for help Output #0, wav, to 'E:\program\bot-tg\voices\178999805.wav': Metadata: ISFT : Lavf61.9.100 Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 16000 Hz, mono, s16, 25 6 kb/s Metadata: encoder : Lavc61.22.100 pcm_s16le [out#0/wav @ 0000017d9144c040] video:0KiB audio:77KiB subtitle:0KiB other stream s:0KiB global headers:0KiB muxing overhead: 0.099085% size= 77KiB time=00:00:02.46 bitrate= 256.3kbits/s speed= 540x
Audio converted successfully Raw transcription result: { text: 'когда была первая мировая война' }
на вопрос он не дал ответ
- Assistant
Если бот получает корректно транскрибированный текст, но не отвечает, это может быть связано с тем, что либо проверка условия для отправки ответа не проходит, либо код для ответа сообщениям неправильно выполняется. Давайте пройдемся по шагам, которые помогут решить проблему:
Проверка кода и исправление
-
Убедитесь, что сообщение распознанное Vosk соответствует вашим условиям:
- Проверьте условие, входящее в
if (text.includes('Кеша') && gradioClient), и убедитесь, что оно действительнo соответствует тому, что возвращается изtranscribeAudio.
- Проверьте условие, входящее в
-
Проверяем логику отправки ответа:
- Убедимся, что возврат API Gradio корректно осуществляется и ответ доступен для отправки пользователю.
Пример обновленного обработчика голосовых сообщений
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); console.log('Transcription text:', text); // Логирование результата транскрипции if (text.includes('война') && gradioClient) { // Пример: ищем 'война' вместо 'Кеша' const textAsked = text.slice(text.indexOf('война')); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); try { const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log('Gradio response:', responseMessage); // Логирование ответа Gradio await ctx.reply(responseMessage); } catch (error) { console.log('Error during prediction request:', error.message); await ctx.reply('Извините, произошла ошибка при обработке вашего запроса.'); } } else { await ctx.reply('Текст не содержит распознанного слова "война"'); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });Объяснение:
- Логирование транскрипции: Добавлено, чтобы вы могли видеть, какой текст реально был получен. Это поможет понять, проходит ли он условия для отправки ответа пользователю.
- Исправление условия: Убедитесь в том, что условие для поиска слова в тексте соответствует реальному контексту вашего бота.
- Логирование ответа Gradio: Это поможет отследить, возвращает ли какую-либо информацию API, и если нет, поможет в диагностике.
Так вы сможете точно проверить, правильно ли выполняется логика вашего бота и работает ли что-то неправильно.
-
- User
сделай чтобы в данном коде голосовое сообщение которое он перевел в текстовое работало по принципу как и обработка текстового , он должен обработанное голосовое сообщение перевести в текст потом этот текст отправить через getPrediction , получить ответ и этот ответ уже вернуть пользователю import { Telegraf, session } from 'telegraf'; import { message } from 'telegraf/filters'; import { code } from 'telegraf/format'; import config from 'config'; import { ogg } from './src/ogg.js'; import { transcribeAudio, initializeVosk } from './src/transcriber.js'; import { Client } from '@gradio/client';
process.on('uncaughtException', (err) => { console.error('Uncaught Exception:', err); });
process.on('unhandledRejection', (reason, promise) => { console.error('Unhandled Rejection at:', promise, 'reason:', reason); });
const INITIAL_SESSION = { messages: [], };
const BOT_TOKEN = config.get('TELEGRAM_TOKEN'); const bot = new Telegraf(BOT_TOKEN);
let gradioClient; let voskReady = false;
async function initGradioClient() { try { const client = await Client.connect('yuntian-deng/ChatGPT4'); console.log('Gradio client initialized'); return client; } catch (error) { console.error('Ошибка подключения клиента Gradio:', error); throw error; } }
async function getPrediction(app, inputText, apiEndpoint) { const parameters = { inputs: inputText, top_p: 1.0, temperature: 1.0, chat_counter: 0, chatbot: [], };
try { console.log(
Отправка на ${apiEndpoint}:, parameters);const predictionResult = await app.predict(apiEndpoint, [ parameters.inputs, parameters.top_p, parameters.temperature, parameters.chat_counter, parameters.chatbot, ]); const nestedArray = predictionResult.data[0]; if (Array.isArray(nestedArray) && nestedArray.length > 0) { const lastPair = nestedArray[nestedArray.length - 1]; if (Array.isArray(lastPair) && lastPair.length > 1) { const actualResponse = lastPair[1]; if (typeof actualResponse === 'string') { return actualResponse; } } } console.warn('Получен неожиданный формат данных.'); return 'Получен неожиданный формат данных.';} catch (error) { console.error(
Ошибка во время запроса ${apiEndpoint}:, error); return 'Извините, произошла ошибка при обработке вашего запроса.'; } }// Инициализация клиента Gradio initGradioClient() .then((client) => { gradioClient = client; console.log('Gradio client successfully initialized. Launching bot...'); }) .catch((error) => { console.error('Не удалось инициализировать клиент Gradio:', error); });
// Асинхронная инициализация Vosk (async () => { try { await initializeVosk(); voskReady = true; console.log('Vosk model initialized'); } catch (error) { console.error('Ошибка инициализации Vosk:', error); } })();
bot.use(session());
bot.command('start', async (ctx) => { ctx.session = INITIAL_SESSION; await ctx.reply('Жду вашего голосового или текстового сообщения'); });
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION;
if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; }
try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name;
const text = await transcribeAudio(mp3Path); if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); await ctx.reply(code(`${name} Ваш запрос: ${textAsked}`)); const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); await ctx.reply(responseMessage); }} catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); } });
bot.on(message('text'), async (ctx) => { ctx.session ??= INITIAL_SESSION; const text = ctx.message.text;
if (text.includes('Кеша') && gradioClient) { const textAsked = text.slice(5); try { await ctx.reply(code('Сообщение принял. Жду ответ от сервера...'));
const responseMessage = await getPrediction(gradioClient, textAsked, '/predict'); console.log(responseMessage); const name = ctx.from.first_name; await ctx.reply(`${name}, ${responseMessage}`); } catch (err) { console.log('Ошибка при обработке текстового сообщения:', err.message); const name = ctx.from.first_name; ctx.reply( `${name}, "Извините. Но из-за высокой нагрузки на сервер, я не смогу ответить Вам".`, ); }} });
bot.launch();
process.once('SIGINT', () => bot.stop('SIGINT')); process.once('SIGTERM', () => bot.stop('SIGTERM'));
- Assistant
Чтобы голосовые сообщения обрабатывались аналогично текстовым, переведенное текстовое сообщение нужно передать в функцию
getPrediction, а затем вернуть полученный ответ пользователю. Давайте обновим обработчик голосовых сообщений с учетом этой логики.Обновленный код голосового обработчика
bot.on(message('voice'), async (ctx) => { ctx.session ??= INITIAL_SESSION; if (!voskReady) { await ctx.reply('Голосовая обработка ещё не готова. Попробуйте позже.'); return; } try { const link = await ctx.telegram.getFileLink(ctx.message.voice.file_id); const userId = String(ctx.message.from.id); const oggPath = await ogg.create(link.href, userId); const mp3Path = await ogg.toMp3(oggPath, userId); const name = ctx.from.first_name; const text = await transcribeAudio(mp3Path); console.log('Transcription text:', text); // Логирование результата транскрипции if (text && gradioClient) { // Убедимся, что текст получен и клиент инициализирован await ctx.reply(code(`${name}, я понял ваше сообщение: ${text}`)); try { const responseMessage = await getPrediction(gradioClient, text, '/predict'); console.log('Gradio response:', responseMessage); // Логирование ответа Gradio await ctx.reply(`${name}, ${responseMessage}`); } catch (error) { console.log('Error during prediction request:', error.message); await ctx.reply('Извините, произошла ошибка при обработке вашего запроса.'); } } else { await ctx.reply('Извините, не удалось распознать ваш голос.'); } } catch (error) { console.log('Ошибка при обработке голосового сообщения:', error.message); await ctx.reply('Произошла ошибка при обработке голосового сообщения.'); } });Объяснение обновлений:
- Проверка текстового сообщения: После транскрибирования голосового сообщения в текст, программа проверяет, что текст действительно был получен перед отправкой его на анализ.
- Вызывается
getPrediction: Отправляет транскрибированный текст вgetPrediction, как это делается для текстовых сообщений. - Общая обработка: Обрабатывает результаты от Gradio и отправляет их пользователю, как в обработке текстовых сообщений.
Такой подход позволяет обрабатывать голосовые сообщения полностью аналогично текстовым путем интеграции транскрибции и последующего анализа на одном уровне функциональности.
- User
в данной документации есть уровень краткости ответов ? Choose a language to see the code snippets for interacting with the API.
- Install the python client (docs) if you don't already have it installed.
copy $ pip install gradio_client 2. Find the API endpoint below corresponding to your desired function in the app. Copy the code snippet, replacing the placeholder values with your own input data. If this is a private Space, you may need to pass your Hugging Face token as well (read more). Or use the API Recorder
to automatically generate your API requests.
api_name: /enable_inputs copy from gradio_client import Client
client = Client("yuntian-deng/ChatGPT4") result = client.predict( api_name="/enable_inputs" ) print(result) Accepts 0 parameters: Returns 1 element api_name: /reset_textbox copy from gradio_client import Client
client = Client("yuntian-deng/ChatGPT4") result = client.predict( api_name="/reset_textbox" ) print(result) Accepts 0 parameters: Returns 1 element str
The output value that appears in the "Type an input and press Enter" Textbox component.
api_name: /predict copy from gradio_client import Client
client = Client("yuntian-deng/ChatGPT4") result = client.predict( inputs="Hello!!", top_p=1, temperature=1, chat_counter=0, chatbot=[], api_name="/predict" ) print(result) Accepts 5 parameters: inputs str Required
The input value that is provided in the "Type an input and press Enter" Textbox component.
top_p float Default: 1
The input value that is provided in the "Top-p (nucleus sampling)" Slider component.
temperature float Default: 1
The input value that is provided in the "Temperature" Slider component.
chat_counter float Default: 0
The input value that is provided in the "parameter_16" Number component.
chatbot Tuple[str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None, str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None] Default: []
The input value that is provided in the "parameter_4" Chatbot component.
Returns tuple of 4 elements [0] Tuple[str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None, str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None]
The output value that appears in the "value_4" Chatbot component.
[1] float
The output value that appears in the "value_16" Number component.
[2] str
The output value that appears in the "Status code from OpenAI server" Textbox component.
[3] str
The output value that appears in the "Type an input and press Enter" Textbox component.
api_name: /reset_textbox_1 copy from gradio_client import Client
client = Client("yuntian-deng/ChatGPT4") result = client.predict( api_name="/reset_textbox_1" ) print(result) Accepts 0 parameters: Returns 1 element str
The output value that appears in the "Type an input and press Enter" Textbox component.
api_name: /predict_1 copy from gradio_client import Client
client = Client("yuntian-deng/ChatGPT4") result = client.predict( inputs="Hello!!", top_p=1, temperature=1, chat_counter=0, chatbot=[], api_name="/predict_1" ) print(result) Accepts 5 parameters: inputs str Required
The input value that is provided in the "Type an input and press Enter" Textbox component.
top_p float Default: 1
The input value that is provided in the "Top-p (nucleus sampling)" Slider component.
temperature float Default: 1
The input value that is provided in the "Temperature" Slider component.
chat_counter float Default: 0
The input value that is provided in the "parameter_16" Number component.
chatbot Tuple[str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None, str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None] Default: []
The input value that is provided in the "parameter_4" Chatbot component.
Returns tuple of 4 elements [0] Tuple[str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None, str | Dict(file: filepath, alt_text: str | None) | Dict(component: str, value: Any, constructor_args: Dict(), props: Dict()) | None]
The output value that appears in the "value_4" Chatbot component.
[1] float
The output value that appears in the "value_16" Number component.
[2] str
The output value that appears in the "Status code from OpenAI server" Textbox component.
[3] str
The output value that appears in the "Type an input and press Enter" Textbox component.
- Assistant
В предоставленных выдержках из документации описываются API endpoints для взаимодействия с некой моделью, вероятно, на базе Gradio для работы с ChatGPT или схожей системой. Ваша цель, насколько я понял, состоит в том, чтобы управлять "уровнем краткости" в ответах от
predictилиpredict_1API.Настройки краткости в ответах модели
В документации не упоминается непосредственная настройка краткости ответов. Однако в таких моделях краткость ответов часто можно контролировать через параметры:
-
Temperature: Управляет креативностью и разнообразием ответов. Значения ближе к 0.0 сделают ответы более детерминированными и краткими, в то время как более высокие значения позволят больше вариаций и вероятностных ответов. -
Top_p: Этот параметр отвечает за "nucleus sampling". Если установить его на значения близкие к 0, это ограничит выбор ответов среди самых вероятных, что также может поддерживать ответы более краткими. -
Max tokens(не упоминается в вашем тексте, но часто используется): Количество генерируемых токенов в ответе. Если этот параметр доступен, уменьшение его значения уменьшит количество слов в ответе.
Как изменить параметры
Обычно для изменения этих настроек, их нужно передать при вызове API, как в примере с
predict:from gradio_client import Client client = Client("yuntian-deng/ChatGPT4") result = client.predict( inputs="Ваш вопрос или запрос", top_p=0.5, # Попробуйте проверить с более низкими значениями temperature=0.5, # Попробуйте проверить с более низкими значениями chat_counter=0, chatbot=[], api_name="/predict" ) print(result)Идеи по улучшению
Если краткость возникает только в определенных случаях и нуждается в корректировке, подумайте о динамической настройке
temperatureиtop_pосновываясь на контексте диалога или содержания запроса. Если у модели есть настройка для ограничения максимального числа токенов (max_tokens), это тоже можно использовать для управления длиной ответа.Также имеет смысл связаться с документацией API или разработчиком, кто его предоставляет, чтобы выяснить, есть ли другие параметры, способные эффективно регулировать длину и стилистику ответов.
-