Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

import os import gradio as gr from contextloader import ContextLoader from models.gpt4o…

  1. User

    import os import gradio as gr from context_loader import ContextLoader from models.gpt4o import ModelClient

    class NeuroRavenApp: def init(self): self.system_prompt = None self.current_theme = None self.client = ModelClient() self.context_loader = ContextLoader() self.conversation_themes = self.get_conversation_themes() if "Без контекста" not in self.conversation_themes: self.conversation_themes.append("Без контекста")

    @staticmethod
    def get_conversation_themes(docs_path='docs'):
        # Получаем список всех директорий в указанном пути
        return [name for name in os.listdir(docs_path) if os.path.isdir(os.path.join(docs_path, name))]
    
    def handle_query(self, message, history, audio, context_theme):
        if audio:
    
        if context_theme != self.current_theme:
            context = self.context_loader.load_txt_files(context_theme)
            if context:
                self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}"
            else:
                self.system_prompt = "You are a helpful assistant."
    
            self.current_theme = context_theme
    
        response = self.client.get_response(
            message=message,
            history=history,
            sys_prompt=self.system_prompt
        )
        return response
    
    def launch_app(self):
        gr.ChatInterface(
            self.handle_query,
            chatbot=gr.Chatbot(height=500),
            retry_btn=None,
            clear_btn="Clear",
            theme="soft",
            title="NeuroRaven",
            css="footer{display:none !important}",
            additional_inputs=[
                gr.Microphone(sources=["microphone"], type="numpy"),
                gr.Dropdown(self.conversation_themes, label="Выбери тему контекста", value="Без контекста"),
            ]
        ).launch()
    

    if name == "main": app = NeuroRavenApp() app.launch_app()

    Как мне сделать распознавание голоса с помощью whisper

  2. Assistant

    Чтобы интегрировать распознавание голоса с использованием модели Whisper от OpenAI в ваш проект с Gradio, вам потребуется изменить ваш код для обработки аудиовхода. Whisper — это модель, разработанная для автоматической транскрипции речи в текст. Я объясню, как можно интегрировать её, используя библиотеку whisper от OpenAI.

    Во-первых, убедитесь, что у вас установлена библиотека whisper:

    pip install openai-whisper
    

    Затем добавьте импорт в начале файла:

    import whisper
    

    Далее, в вашем классе NeuroRavenApp, вам нужно будет загрузить модель Whisper:

    class NeuroRavenApp:
        def __init__(self):
            self.system_prompt = None
            self.current_theme = None
            self.client = ModelClient()
            self.context_loader = ContextLoader()
            self.model = whisper.load_model("base")  # Загружает модель whisper
            self.conversation_themes = self.get_conversation_themes()
            if "Без контекста" not in self.conversation_themes:
                self.conversation_themes.append("Без контекста")
    

    Теперь исправим handle_query для обработки аудио:

    def handle_query(self, message, history, audio, context_theme):
        # Если аудио предоставлено, используем Whisper для преобразования в текст
        if audio is not None:
            # Используем модель Whisper для распознавания речи
            result = self.model.transcribe(audio)
            message = result['text']  # Обновляем сообщение текстом из аудио
    
        if context_theme != self.current_theme:
            context = self.context_loader.load_txt_files(context_theme)
            if context:
                self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}"
            else:
                self.system_prompt = "You are a helpful assistant."
    
            self.current_theme = context_theme
    
        response = self.client.get_response(
            message=message,
            history=history,
            sys_prompt=self.system_prompt
        )
        return response
    

    Обратите внимание, что в handle_query, если аудио не пустое, мы используем модель Whisper для транскрипции и обновляем message текстом, полученным из аудио.

    Эти изменения добавят распознавание голоса Whisper в вашу Gradio программу, исполняя транскрипцию всякий раз, когда аудио введено в приложение.

    Также стоит убедиться, что ваш ChatInterface корректно обрабатывает файлы аудио в формате, подходящем для Whisper. В случае проблем, вы можете дополнительно обрабатывать аудиоданные перед передачей их модели Whisper.

  3. User

    C:\Developing\Python\NeuroRaven.venv\lib\site-packages\gradio\processing_utils.py:188: UserWarning: Trying to convert audio automatically from int32 to 16-bit int format. warnings.warn(warning.format(data.dtype))

  4. Assistant

    Предупреждение, которое вы видите, возникает из-за того, что аудиоданные в формате int32 автоматически преобразуются в формат 16-битных целых чисел int16, который является стандартом для обработки аудио в большинстве библиотек Python, включая те, которые работают с аудиофайлами. Хотя это не является серьёзной проблемой, лучше ручное преобразование аудиоданных для избежания предупреждений и обеспечения совместимости.

    Чтобы решить эту проблему, вы можете преобразовать аудиоданные в формат int16 перед обработкой с помощью Whisper. Вот как это можно сделать в вашем коде, используя библиотеку numpy, чтобы безопасно изменить тип данных:

    import numpy as np
    import whisper
    
    def handle_query(self, message, history, audio, context_theme):
        if audio is not None:
            # Преобразуем аудио в формат 16-битных целых чисел
            if audio.dtype != np.int16:
                audio = (audio / np.max(np.abs(audio)) * np.iinfo(np.int16).max).astype(np.int16)
    
            # Используем модель Whisper для распознавания речи
            result = self.model.transcribe(audio)
            message = result['text']
    
        if context_theme != self.current_theme:
            context = self.context_loader.load_txt_files(context_theme)
            if context:
                self.system_prompt = f"Отвечай на вопросы беря информацию из контекста: \n{context}"
            else:
                self.system_prompt = "You are a helpful assistant."
    
            self.current_theme = context_theme
    
        response = self.client.get_response(
            message=message,
            history=history,
            sys_prompt=self.system_prompt
        )
        return response
    

    Обратите внимание на следующий участок кода:

    if audio.dtype != np.int16:
        audio = (audio / np.max(np.abs(audio)) * np.iinfo(np.int16).max).astype(np.int16)
    

    Здесь проверяется тип данных аудиосигнала. Если он не int16, то сигнал нормализуется и конвертируется в 16-битный формат.

    Эти изменения должны устранить предупреждение и обеспечить корректную обработку аудиоданных. Измените код в вашем проекте, добавив вышеуказанную обработку аудио, чтобы решить проблему с предупреждением.

  5. User

    return F.conv1d(input, weight, bias, self.stride, RuntimeError: Given groups=1, weight of size [1280, 128, 3], expected input[1, 80, 3000] to have 128 channels, but got 80 channels instead

  6. Assistant

    Ошибка, которую вы получили, связана с несовпадением числа каналов в сверточной операции (conv1d) при использовании модели. Ваша модель ожидает, что входные данные имеют 128 каналов, но аудиоданные, которые вы передали, имеют только 80 каналов.

    Это может быть связано с неправильной обработкой входных аудиоданных или настройками модели. Давайте пройдемся по нескольким вариантам решений:

    1. Убедитесь, что аудиоданные правильно подготовлены:

      • Убедитесь, что аудио загружено и преобразовано правильно. Обычно это включает в себя нормализацию и приведение данных к подходящему формату, например, мел-спектрограмму (Mel-spectrogram) или MFCC (Mel-frequency cepstral coefficients).
    2. Проверьте параметры модели Whisper:

      • Убедитесь, что параметры модели, такие как количество ожидаемых каналов, соответствуют данному аудиомасиву. Whisper может ожидать аудиофайлы определенного формата или типа спектрограммы. Вам может потребоваться предварительная обработка аудиоданных для согласования с ожидаемым форматом.
    3. Преобразование аудиоданных в формат, подходящий для модели:

      • Используйте библиотеку аудиообработки, такую как librosa, для генерации мел-спектрограммы с нужными параметрами. Например, создайте мел-спектрограмму с 128 мел-фильтрами.

    Пример использования librosa для создания мел-спектрограммы:

    import librosa
    import numpy as np
    
    def preprocess_audio(audio, sr):
        # Здесь sr — частота дискретизации аудио
        mel_spectrogram = librosa.feature.melspectrogram(y=audio, sr=sr, n_mels=128)
        log_mel_spectrogram = librosa.power_to_db(mel_spectrogram, ref=np.max)
        return log_mel_spectrogram
    
    audio, sample_rate = librosa.load(audio_file_path, sr=16000)  # Загрузка аудио
    input_features = preprocess_audio(audio, sample_rate)
    
    # Далее, используйте input_features в вашей модели
    

    Убедитесь, что ваши аудиоданные правильно обрабатываются в нужный формат, принимаемый моделью. Проверьте интерфейс вашей модели и документацию для получения подробной информации о необходимом формате входных аудиоданных.