Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· openaiHugging Face Suzhen/CodeChat

import os from glob import glob import librosa import numpy as np def…

  1. User

    import os from glob import glob

    import librosa import numpy as np

    def load_dataset(directory: str): """

    :param directory: Путь к директории с аудио
    :return:
        X - Список аудио сигналов
        labels - Список меток (Например для файла '0_0_0_1_0_1_1_0.wav': [0, 0, 0, 1, 0, 1, 1, 0])
        sr - частоты дискретизаций аудио файлов
        files - Названия файлов
    """
    X, labels, sr, files = [], [], [], []
    for f in glob(directory + "/*.wav"):
        filename = os.path.basename(f)
        name = filename[:-4]
        y = [int(label) for label in name.split("_")]
        x, sr = librosa.load(f)
        X.append(x)
        labels.append(y)
        files.append(filename)
    
    return X, labels, sr, files
    

    def make_dataset(samples, labels, vad_segments): """

    :param samples: Список аудио сигналов
    :param labels: Список меток (Например для файла '0_0_0_1_0_1_1_0.wav': [0, 0, 0, 1, 0, 1, 1, 0])
    :param vad_segments: Список сегментов для каждого аудио сигнала вида:
        [
            [[23996, 32539], [35410, 44925], ...,],
            [[22141, 30259], [34917, 42695], ...,],
            ...
        ]
    :return:
    """
    X, y = [], []
    # Проходим по каждому аудио сигналу
    for sample in range(len(samples)):
        # В аудио сигнале проходим по каждому сегменту с речью
        for segment in range(len(vad_segments[sample]) - 1):
            start = vad_segments[sample][segment][0]  # Начало сегмента
            stop = vad_segments[sample][segment][1]  # Конец сегмента
            voice = samples[sample][start:stop]  # Отрезаем сегмент с речью из аудио сигнала и применяем stft
            stft = librosa.stft(voice).mean(axis=1)
            stft_db = librosa.amplitude_to_db(abs(stft))
    
            X.append(stft_db)  # Добавляем спектрограмму с речью
            y.append(labels[sample][segment])  # Добавляем метку для этой спектрограммы
    
    return np.array(X), np.array(y)
    
  2. Assistant

    Вы указали функцию, которая загружает аудиофайлы из указанного каталога и возвращает список аудио сигналов и меток для каждого файла. Полученные списки будут состоять из аудиосигналов, меток, частот дискретизации и названий файлов соответственно.

    Кроме того, данная функция и функция make_dataset, которая принимает списки аудиосигналов, меток и сегментов VAD, а затем создает набор данных статических определений и соответствующих меток.

    Демонстрация загрузки и создания набора данных:

    Допустим, у вас есть следующая структура каталогов и аудиофайлы внутри них:

    • audio_data/
      • 0_0_0_1_0_1_1_0.wav
      • 0_1_0_1_0_0_1_1.wav

    В этом случае, вы можете использовать функцию следующим образом:

    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Предположим, что у вас уже есть список сегментов vad_segments
    vad_segments = [
        [[23996, 32539], [35410, 44925]],
        [[22141, 30259], [34917, 42695]]
    ]
    
    # Создание набора данных с использованием функции make_dataset
    X, y = make_dataset(audio_signals, labels, vad_segments)
    

    В результате, в переменных X и y будут сохранены массивы спектрограмм и соответствующих им меток. Чтобы приступить к обучению модели (например, используя Scikit-learn), передайте значения X и y в функцию обучения.

    from sklearn import model
    
    # Обучение модели используя X и y
    trained_model = model.train(X, y)
    

    После завершения обучения модели вы можете использовать ее для предсказания на новых данных.

  3. User

    import os import torchaudio import matplotlib.pyplot as plt import torch import librosa as lr import numpy as np

    Define the vad function

    def vad(audio_data, sample_rate, frame_duration=0.025, energy_threshold=0.6): frame_size = int(sample_rate * frame_duration) num_frames = len(audio_data) // frame_size silence = np.ones(len(audio_data), dtype=bool)

    for idx in range(num_frames):
        start = idx * frame_size
        end = (idx + 1) * frame_size
        frame_energy = np.sum(np.square(audio_data[start:end]))
        if frame_energy > energy_threshold:
            silence[start:end] = False
    
    segments = []
    start = None
    for idx, value in enumerate(silence):
        if not value and start is None:  # Start of speech segment
            start = idx
        elif value and start is not None:  # End of speech segment
            segments.append([start, idx - 1])
            start = None
    
    return segments, silence
    

    directory = '/content/drive/MyDrive/School21/day09/datasets/audio_yes_no/waves_yesno 2'

    Loop through all files in the directory

    for filename in os.listdir(directory): if filename.endswith('.wav'): # Load the audio file and find the speech boundaries audio_data, sample_rate = torchaudio.load(os.path.join(directory, filename)) audio_data_resampled = lr.resample(audio_data.numpy()[0], orig_sr=sample_rate, target_sr=8000) segments, silence = vad(audio_data_resampled, 8000)

        # Resample the silence mask
        silence_resampled = np.interp(np.linspace(0, len(silence), len(audio_data_resampled)), np.arange(len(silence)), silence.astype(float))
    
        # Plot the audio signal and speech boundaries
        fig, ax = plt.subplots(figsize=(14, 4))
        times = np.linspace(0, len(audio_data_resampled) / 8000, len(audio_data_resampled))*2000  # Calculate time values for x-axis
        ax.plot(times, audio_data_resampled, label='Oridgin signal')
    
        # Create a threshold line based on the silence mask
        threshold_line = np.where(silence_resampled, 0, np.max(np.abs(audio_data_resampled)))
        ax.plot(times, threshold_line, color='red', linestyle='-', label='Voice_detected')
    
        plt.title(filename)
        plt.legend()
        plt.show()
    
  4. Assistant

    Ваш код загружает аудиофайлы из указанного каталога, использует функцию VAD (Voice Activity Detection) для определения границ речи и затем визуализирует аудиосигнал и границы речи на графике. Вот краткое описание каждого шага:

    1. Определение функции VAD, которая принимает аудиоданные, частоту дискретизации и другие параметры, а затем возвращает сегменты речи и маску молчания.
    2. Загрузка аудиофайлов из указанного каталога и применение функции VAD к каждому файлу.
    3. Интерполяция маски молчания для соответствия длине аудиосигнала после изменения частоты дискретизации.
    4. Визуализация аудиосигнала и границ речи на графике.

    После выполнения этого кода вы увидите графики аудиосигналов и границ речи для каждого файла в указанном каталоге. Это может быть полезно для визуального анализа аудиофайлов и проверки корректности работы алгоритма VAD.

  5. User

    После того как мы узнали сегменты аудио с речью, то можно перейти к самой задаче классификации. Внимательно изучи функцию make_dataset. С помощью этой функции cгенерируй X, Y для train и test выборок. Затем попробуй обучить различные классификаторы. Например, SVM или LogisticRegression. Измерь точность (accuracy) классификации на тестовой выборке.

  6. Assistant

    Для начала, давайте разделим наши данные на обучающую и тестовую выборки. Мы будем использовать функцию train_test_split из библиотеки sklearn для этого. Затем мы применим функцию make_dataset для создания обучающих и тестовых наборов данных.

    from sklearn.model_selection import train_test_split
    
    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Предположим, что у вас уже есть список сегментов vad_segments
    vad_segments = [
        [[23996, 32539], [35410, 44925]],
        [[22141, 30259], [34917, 42695]]
    ]
    
    # Разделение данных на обучающую и тестовую выборки
    audio_signals_train, audio_signals_test, labels_train, labels_test, vad_segments_train, vad_segments_test = train_test_split(audio_signals, labels, vad_segments, test_size=0.2, random_state=42)
    
    # Создание обучающего и тестового наборов данных с использованием функции make_dataset
    X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train)
    X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)
    

    Теперь, когда у нас есть обучающие и тестовые наборы данных, давайте обучим классификаторы SVM и Logistic Regression и измерим их точность на тестовой выборке.

    from sklearn.svm import SVC
    from sklearn.linear_model import LogisticRegression
    from sklearn.metrics import accuracy_score
    
    # Обучение классификатора SVM
    svm_classifier = SVC()
    svm_classifier.fit(X_train, y_train)
    
    # Предсказание на тестовой выборке и измерение точности
    y_pred_svm = svm_classifier.predict(X_test)
    accuracy_svm = accuracy_score(y_test, y_pred_svm)
    print(f"SVM accuracy: {accuracy_svm}")
    
    # Обучение классификатора Logistic Regression
    logreg_classifier = LogisticRegression()
    logreg_classifier.fit(X_train, y_train)
    
    # Предсказание на тестовой выборке и измерение точности
    y_pred_logreg = logreg_classifier.predict(X_test)
    accuracy_logreg = accuracy_score(y_test, y_pred_logreg)
    print(f"Logistic Regression accuracy: {accuracy_logreg}")
    

    После выполнения этого кода вы получите точность классификации для классификаторов SVM и Logistic Regression на тестовой выборке. Вы можете сравнить их производительность и выбрать наиболее подходящий классификатор для вашей задачи.

  7. User

    ValueError Traceback (most recent call last) in <cell line: 15>() 13 14 # Разделение данных на обучающую и тестовую выборки ---> 15 audio_signals_train, audio_signals_test, labels_train, labels_test, vad_segments_train, vad_segments_test = train_test_split(audio_signals, labels, vad_segments, test_size=0.2, random_state=42) 16 17 # Создание обучающего и тестового наборов данных с использованием функции make_dataset

    2 frames /usr/local/lib/python3.10/dist-packages/sklearn/utils/validation.py in check_consistent_length(*arrays) 395 uniques = np.unique(lengths) 396 if len(uniques) > 1: --> 397 raise ValueError( 398 "Found input variables with inconsistent numbers of samples: %r" 399 % [int(l) for l in lengths]

    ValueError: Found input variables with inconsistent numbers of samples: [59, 59, 2]

  8. Assistant

    Извините за ошибку. В функции train_test_split необходимо передать кортежи (audio_signals, labels) и (vad_segments, labels) вместо отдельных списков. Вот исправленный код:

    from sklearn.model_selection import train_test_split
    
    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Предположим, что у вас уже есть список сегментов vad_segments
    vad_segments = [
        [[23996, 32539], [35410, 44925]],
        [[22141, 30259], [34917, 42695]]
    ]
    
    # Разделение данных на обучающую и тестовую выборки
    (audio_signals_train, labels_train), (audio_signals_test, labels_test) = train_test_split((audio_signals, labels), (vad_segments, labels), test_size=0.2, random_state=42)
    
    # Создание обучающего и тестового наборов данных с использованием функции make_dataset
    X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train)
    X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)
    

    Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.

  9. User

    ValueError Traceback (most recent call last) in <cell line: 15>() 13 14 # Разделение данных на обучающую и тестовую выборки ---> 15 (audio_signals_train, labels_train), (audio_signals_test, labels_test) = train_test_split((audio_signals, labels), (vad_segments, labels), test_size=0.2, random_state=42) 16 17 # Создание обучающего и тестового наборов данных с использованием функции make_dataset

    ValueError: too many values to unpack (expected 2)

  10. Assistant

    Моя ошибка, я неправильно понял ваш вопрос. Вам нужно разделить данные на обучающую и тестовую выборки, сохраняя соответствие между audio_signals, labels и vad_segments. Вот правильный способ сделать это:

    from sklearn.model_selection import train_test_split
    
    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Предположим, что у вас уже есть список сегментов vad_segments
    vad_segments = [
        [[23996, 32539], [35410, 44925]],
        [[22141, 30259], [34917, 42695]]
    ]
    
    # Разделение данных на обучающую и тестовую выборки
    indices = list(range(len(audio_signals)))
    train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42)
    
    audio_signals_train = [audio_signals[i] for i in train_indices]
    labels_train = [labels[i] for i in train_indices]
    vad_segments_train = [vad_segments[i] for i in train_indices]
    
    audio_signals_test = [audio_signals[i] for i in test_indices]
    labels_test = [labels[i] for i in test_indices]
    vad_segments_test = [vad_segments[i] for i in test_indices]
    
    # Создание обучающего и тестового наборов данных с использованием функции make_dataset
    X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train)
    X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)
    

    Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.

  11. User

    IndexError Traceback (most recent call last) in <cell line: 20>() 18 audio_signals_train = [audio_signals[i] for i in train_indices] 19 labels_train = [labels[i] for i in train_indices] ---> 20 vad_segments_train = [vad_segments[i] for i in train_indices] 21 22 audio_signals_test = [audio_signals[i] for i in test_indices]

    in (.0) 18 audio_signals_train = [audio_signals[i] for i in train_indices] 19 labels_train = [labels[i] for i in train_indices] ---> 20 vad_segments_train = [vad_segments[i] for i in train_indices] 21 22 audio_signals_test = [audio_signals[i] for i in test_indices]

    IndexError: list index out of range

  12. Assistant

    Извините за путаницу. Вам нужно сначала создать список vad_segments для всех аудиофайлов, а затем разделить его на обучающую и тестовую выборки. Вот исправленный код:

    from sklearn.model_selection import train_test_split
    
    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Создание списка сегментов vad для всех аудиофайлов
    vad_segments = []
    for audio_data, sample_rate in zip(audio_signals, sr):
        audio_data_resampled = lr.resample(audio_data, orig_sr=sample_rate, target_sr=8000)
        segments, _ = vad(audio_data_resampled, 8000)
        vad_segments.append(segments)
    
    # Разделение данных на обучающую и тестовую выборки
    indices = list(range(len(audio_signals)))
    train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42)
    
    audio_signals_train = [audio_signals[i] for i in train_indices]
    labels_train = [labels[i] for i in train_indices]
    vad_segments_train = [vad_segments[i] for i in train_indices]
    
    audio_signals_test = [audio_signals[i] for i in test_indices]
    labels_test = [labels[i] for i in test_indices]
    vad_segments_test = [vad_segments[i] for i in test_indices]
    
    # Создание обучающего и тестового наборов данных с использованием функции make_dataset
    X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train)
    X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)
    

    Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.

  13. User

    TypeError Traceback (most recent call last) in <cell line: 10>() 8 # Создание списка сегментов vad для всех аудиофайлов 9 vad_segments = [] ---> 10 for audio_data, sample_rate in zip(audio_signals, sr): 11 audio_data_resampled = lr.resample(audio_data, orig_sr=sample_rate, target_sr=8000) 12 segments, _ = vad(audio_data_resampled, 8000)

    TypeError: 'int' object is not iterable

  14. Assistant

    Моя ошибка, я неправильно понял формат переменной sr. Поскольку частота дискретизации одинакова для всех аудиофайлов, она представлена в виде одного числа, а не списка. Вот исправленный код:

    from sklearn.model_selection import train_test_split
    
    # Загрузка аудиофайлов и меток
    audio_signals, labels, sr, files = load_dataset("audio_data")
    
    # Создание списка сегментов vad для всех аудиофайлов
    vad_segments = []
    for audio_data in audio_signals:
        audio_data_resampled = lr.resample(audio_data, orig_sr=sr, target_sr=8000)
        segments, _ = vad(audio_data_resampled, 8000)
        vad_segments.append(segments)
    
    # Разделение данных на обучающую и тестовую выборки
    indices = list(range(len(audio_signals)))
    train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42)
    
    audio_signals_train = [audio_signals[i] for i in train_indices]
    labels_train = [labels[i] for i in train_indices]
    vad_segments_train = [vad_segments[i] for i in train_indices]
    
    audio_signals_test = [audio_signals[i] for i in test_indices]
    labels_test = [labels[i] for i in test_indices]
    vad_segments_test = [vad_segments[i] for i in test_indices]
    
    # Создание обучающего и тестового наборов данных с использованием функции make_dataset
    X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train)
    X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)
    

    Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.