import os import gradio as gr from contextloader import ContextLoader from models.gpt4o…
- User
import os import gradio as gr from context_loader import ContextLoader from models.gpt4o import ModelClient
class NeuroRavenApp: def init(self): self.system_prompt = None self.current_theme = None self.client = ModelClient() self.context_loader = ContextLoader() self.conversation_themes = self.get_conversation_themes() if "Без контекста" not in self.conversation_themes: self.conversation_themes.append("Без контекста")
@staticmethod def get_conversation_themes(docs_path='docs'): # Получаем список всех директорий в указанном пути return [name for name in os.listdir(docs_path) if os.path.isdir(os.path.join(docs_path, name))] def handle_query(self, message, history, audio, context_theme): if audio: if context_theme != self.current_theme: context = self.context_loader.load_txt_files(context_theme) if context: self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}" else: self.system_prompt = "You are a helpful assistant." self.current_theme = context_theme response = self.client.get_response( message=message, history=history, sys_prompt=self.system_prompt ) return response def launch_app(self): gr.ChatInterface( self.handle_query, chatbot=gr.Chatbot(height=500), retry_btn=None, clear_btn="Clear", theme="soft", title="NeuroRaven", css="footer{display:none !important}", additional_inputs=[ gr.Microphone(sources=["microphone"], type="numpy"), gr.Dropdown(self.conversation_themes, label="Выбери тему контекста", value="Без контекста"), ] ).launch()if name == "main": app = NeuroRavenApp() app.launch_app()
Как мне сделать распознавание голоса с помощью whisper
- Assistant
Чтобы интегрировать распознавание голоса с использованием модели Whisper от OpenAI в ваш проект с Gradio, вам потребуется изменить ваш код для обработки аудиовхода. Whisper — это модель, разработанная для автоматической транскрипции речи в текст. Я объясню, как можно интегрировать её, используя библиотеку
whisperот OpenAI.Во-первых, убедитесь, что у вас установлена библиотека
whisper:pip install openai-whisperЗатем добавьте импорт в начале файла:
import whisperДалее, в вашем классе
NeuroRavenApp, вам нужно будет загрузить модель Whisper:class NeuroRavenApp: def __init__(self): self.system_prompt = None self.current_theme = None self.client = ModelClient() self.context_loader = ContextLoader() self.model = whisper.load_model("base") # Загружает модель whisper self.conversation_themes = self.get_conversation_themes() if "Без контекста" not in self.conversation_themes: self.conversation_themes.append("Без контекста")Теперь исправим
handle_queryдля обработки аудио:def handle_query(self, message, history, audio, context_theme): # Если аудио предоставлено, используем Whisper для преобразования в текст if audio is not None: # Используем модель Whisper для распознавания речи result = self.model.transcribe(audio) message = result['text'] # Обновляем сообщение текстом из аудио if context_theme != self.current_theme: context = self.context_loader.load_txt_files(context_theme) if context: self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}" else: self.system_prompt = "You are a helpful assistant." self.current_theme = context_theme response = self.client.get_response( message=message, history=history, sys_prompt=self.system_prompt ) return responseОбратите внимание, что в
handle_query, если аудио не пустое, мы используем модель Whisper для транскрипции и обновляемmessageтекстом, полученным из аудио.Эти изменения добавят распознавание голоса Whisper в вашу Gradio программу, исполняя транскрипцию всякий раз, когда аудио введено в приложение.
Также стоит убедиться, что ваш
ChatInterfaceкорректно обрабатывает файлы аудио в формате, подходящем для Whisper. В случае проблем, вы можете дополнительно обрабатывать аудиоданные перед передачей их модели Whisper. - User
C:\Developing\Python\NeuroRaven.venv\lib\site-packages\gradio\processing_utils.py:188: UserWarning: Trying to convert audio automatically from int32 to 16-bit int format. warnings.warn(warning.format(data.dtype))
- Assistant
Предупреждение, которое вы видите, возникает из-за того, что аудиоданные в формате
int32автоматически преобразуются в формат 16-битных целых чиселint16, который является стандартом для обработки аудио в большинстве библиотек Python, включая те, которые работают с аудиофайлами. Хотя это не является серьёзной проблемой, лучше ручное преобразование аудиоданных для избежания предупреждений и обеспечения совместимости.Чтобы решить эту проблему, вы можете преобразовать аудиоданные в формат
int16перед обработкой с помощью Whisper. Вот как это можно сделать в вашем коде, используя библиотекуnumpy, чтобы безопасно изменить тип данных:import numpy as np import whisper def handle_query(self, message, history, audio, context_theme): if audio is not None: # Преобразуем аудио в формат 16-битных целых чисел if audio.dtype != np.int16: audio = (audio / np.max(np.abs(audio)) * np.iinfo(np.int16).max).astype(np.int16) # Используем модель Whisper для распознавания речи result = self.model.transcribe(audio) message = result['text'] if context_theme != self.current_theme: context = self.context_loader.load_txt_files(context_theme) if context: self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}" else: self.system_prompt = "You are a helpful assistant." self.current_theme = context_theme response = self.client.get_response( message=message, history=history, sys_prompt=self.system_prompt ) return responseОбратите внимание на следующий участок кода:
if audio.dtype != np.int16: audio = (audio / np.max(np.abs(audio)) * np.iinfo(np.int16).max).astype(np.int16)Здесь проверяется тип данных аудиосигнала. Если он не
int16, то сигнал нормализуется и конвертируется в 16-битный формат.Эти изменения должны устранить предупреждение и обеспечить корректную обработку аудиоданных. Измените код в вашем проекте, добавив вышеуказанную обработку аудио, чтобы решить проблему с предупреждением.
- User
return F.conv1d(input, weight, bias, self.stride, RuntimeError: Given groups=1, weight of size [1280, 128, 3], expected input[1, 80, 3000] to have 128 channels, but got 80 channels instead
- Assistant
Ошибка, которую вы получили, связана с несовпадением числа каналов в сверточной операции (
conv1d) при использовании модели. Ваша модель ожидает, что входные данные имеют 128 каналов, но аудиоданные, которые вы передали, имеют только 80 каналов.Это может быть связано с неправильной обработкой входных аудиоданных или настройками модели. Давайте пройдемся по нескольким вариантам решений:
-
Убедитесь, что аудиоданные правильно подготовлены:
- Убедитесь, что аудио загружено и преобразовано правильно. Обычно это включает в себя нормализацию и приведение данных к подходящему формату, например, мел-спектрограмму (Mel-spectrogram) или MFCC (Mel-frequency cepstral coefficients).
-
Проверьте параметры модели Whisper:
- Убедитесь, что параметры модели, такие как количество ожидаемых каналов, соответствуют данному аудиомасиву. Whisper может ожидать аудиофайлы определенного формата или типа спектрограммы. Вам может потребоваться предварительная обработка аудиоданных для согласования с ожидаемым форматом.
-
Преобразование аудиоданных в формат, подходящий для модели:
- Используйте библиотеку аудиообработки, такую как
librosa, для генерации мел-спектрограммы с нужными параметрами. Например, создайте мел-спектрограмму с 128 мел-фильтрами.
- Используйте библиотеку аудиообработки, такую как
Пример использования
librosaдля создания мел-спектрограммы:import librosa import numpy as np def preprocess_audio(audio, sr): # Здесь sr — частота дискретизации аудио mel_spectrogram = librosa.feature.melspectrogram(y=audio, sr=sr, n_mels=128) log_mel_spectrogram = librosa.power_to_db(mel_spectrogram, ref=np.max) return log_mel_spectrogram audio, sample_rate = librosa.load(audio_file_path, sr=16000) # Загрузка аудио input_features = preprocess_audio(audio, sample_rate) # Далее, используйте input_features в вашей моделиУбедитесь, что ваши аудиоданные правильно обрабатываются в нужный формат, принимаемый моделью. Проверьте интерфейс вашей модели и документацию для получения подробной информации о необходимом формате входных аудиоданных.
-