import os from glob import glob import librosa import numpy as np def…
- User
import os from glob import glob
import librosa import numpy as np
def load_dataset(directory: str): """
:param directory: Путь к директории с аудио :return: X - Список аудио сигналов labels - Список меток (Например для файла '0_0_0_1_0_1_1_0.wav': [0, 0, 0, 1, 0, 1, 1, 0]) sr - частоты дискретизаций аудио файлов files - Названия файлов """ X, labels, sr, files = [], [], [], [] for f in glob(directory + "/*.wav"): filename = os.path.basename(f) name = filename[:-4] y = [int(label) for label in name.split("_")] x, sr = librosa.load(f) X.append(x) labels.append(y) files.append(filename) return X, labels, sr, filesdef make_dataset(samples, labels, vad_segments): """
:param samples: Список аудио сигналов :param labels: Список меток (Например для файла '0_0_0_1_0_1_1_0.wav': [0, 0, 0, 1, 0, 1, 1, 0]) :param vad_segments: Список сегментов для каждого аудио сигнала вида: [ [[23996, 32539], [35410, 44925], ...,], [[22141, 30259], [34917, 42695], ...,], ... ] :return: """ X, y = [], [] # Проходим по каждому аудио сигналу for sample in range(len(samples)): # В аудио сигнале проходим по каждому сегменту с речью for segment in range(len(vad_segments[sample]) - 1): start = vad_segments[sample][segment][0] # Начало сегмента stop = vad_segments[sample][segment][1] # Конец сегмента voice = samples[sample][start:stop] # Отрезаем сегмент с речью из аудио сигнала и применяем stft stft = librosa.stft(voice).mean(axis=1) stft_db = librosa.amplitude_to_db(abs(stft)) X.append(stft_db) # Добавляем спектрограмму с речью y.append(labels[sample][segment]) # Добавляем метку для этой спектрограммы return np.array(X), np.array(y) - Assistant
Вы указали функцию, которая загружает аудиофайлы из указанного каталога и возвращает список аудио сигналов и меток для каждого файла. Полученные списки будут состоять из аудиосигналов, меток, частот дискретизации и названий файлов соответственно.
Кроме того, данная функция и функция
make_dataset, которая принимает списки аудиосигналов, меток и сегментов VAD, а затем создает набор данных статических определений и соответствующих меток.Демонстрация загрузки и создания набора данных:
Допустим, у вас есть следующая структура каталогов и аудиофайлы внутри них:
audio_data/0_0_0_1_0_1_1_0.wav0_1_0_1_0_0_1_1.wav
В этом случае, вы можете использовать функцию следующим образом:
# Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Предположим, что у вас уже есть список сегментов vad_segments vad_segments = [ [[23996, 32539], [35410, 44925]], [[22141, 30259], [34917, 42695]] ] # Создание набора данных с использованием функции make_dataset X, y = make_dataset(audio_signals, labels, vad_segments)В результате, в переменных
Xиyбудут сохранены массивы спектрограмм и соответствующих им меток. Чтобы приступить к обучению модели (например, используя Scikit-learn), передайте значенияXиyв функцию обучения.from sklearn import model # Обучение модели используя X и y trained_model = model.train(X, y)После завершения обучения модели вы можете использовать ее для предсказания на новых данных.
- User
import os import torchaudio import matplotlib.pyplot as plt import torch import librosa as lr import numpy as np
Define the vad function
def vad(audio_data, sample_rate, frame_duration=0.025, energy_threshold=0.6): frame_size = int(sample_rate * frame_duration) num_frames = len(audio_data) // frame_size silence = np.ones(len(audio_data), dtype=bool)
for idx in range(num_frames): start = idx * frame_size end = (idx + 1) * frame_size frame_energy = np.sum(np.square(audio_data[start:end])) if frame_energy > energy_threshold: silence[start:end] = False segments = [] start = None for idx, value in enumerate(silence): if not value and start is None: # Start of speech segment start = idx elif value and start is not None: # End of speech segment segments.append([start, idx - 1]) start = None return segments, silencedirectory = '/content/drive/MyDrive/School21/day09/datasets/audio_yes_no/waves_yesno 2'
Loop through all files in the directory
for filename in os.listdir(directory): if filename.endswith('.wav'): # Load the audio file and find the speech boundaries audio_data, sample_rate = torchaudio.load(os.path.join(directory, filename)) audio_data_resampled = lr.resample(audio_data.numpy()[0], orig_sr=sample_rate, target_sr=8000) segments, silence = vad(audio_data_resampled, 8000)
# Resample the silence mask silence_resampled = np.interp(np.linspace(0, len(silence), len(audio_data_resampled)), np.arange(len(silence)), silence.astype(float)) # Plot the audio signal and speech boundaries fig, ax = plt.subplots(figsize=(14, 4)) times = np.linspace(0, len(audio_data_resampled) / 8000, len(audio_data_resampled))*2000 # Calculate time values for x-axis ax.plot(times, audio_data_resampled, label='Oridgin signal') # Create a threshold line based on the silence mask threshold_line = np.where(silence_resampled, 0, np.max(np.abs(audio_data_resampled))) ax.plot(times, threshold_line, color='red', linestyle='-', label='Voice_detected') plt.title(filename) plt.legend() plt.show() - Assistant
Ваш код загружает аудиофайлы из указанного каталога, использует функцию VAD (Voice Activity Detection) для определения границ речи и затем визуализирует аудиосигнал и границы речи на графике. Вот краткое описание каждого шага:
- Определение функции VAD, которая принимает аудиоданные, частоту дискретизации и другие параметры, а затем возвращает сегменты речи и маску молчания.
- Загрузка аудиофайлов из указанного каталога и применение функции VAD к каждому файлу.
- Интерполяция маски молчания для соответствия длине аудиосигнала после изменения частоты дискретизации.
- Визуализация аудиосигнала и границ речи на графике.
После выполнения этого кода вы увидите графики аудиосигналов и границ речи для каждого файла в указанном каталоге. Это может быть полезно для визуального анализа аудиофайлов и проверки корректности работы алгоритма VAD.
- User
После того как мы узнали сегменты аудио с речью, то можно перейти к самой задаче классификации. Внимательно изучи функцию make_dataset. С помощью этой функции cгенерируй X, Y для train и test выборок. Затем попробуй обучить различные классификаторы. Например, SVM или LogisticRegression. Измерь точность (accuracy) классификации на тестовой выборке.
- Assistant
Для начала, давайте разделим наши данные на обучающую и тестовую выборки. Мы будем использовать функцию
train_test_splitиз библиотекиsklearnдля этого. Затем мы применим функциюmake_datasetдля создания обучающих и тестовых наборов данных.from sklearn.model_selection import train_test_split # Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Предположим, что у вас уже есть список сегментов vad_segments vad_segments = [ [[23996, 32539], [35410, 44925]], [[22141, 30259], [34917, 42695]] ] # Разделение данных на обучающую и тестовую выборки audio_signals_train, audio_signals_test, labels_train, labels_test, vad_segments_train, vad_segments_test = train_test_split(audio_signals, labels, vad_segments, test_size=0.2, random_state=42) # Создание обучающего и тестового наборов данных с использованием функции make_dataset X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train) X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)Теперь, когда у нас есть обучающие и тестовые наборы данных, давайте обучим классификаторы SVM и Logistic Regression и измерим их точность на тестовой выборке.
from sklearn.svm import SVC from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # Обучение классификатора SVM svm_classifier = SVC() svm_classifier.fit(X_train, y_train) # Предсказание на тестовой выборке и измерение точности y_pred_svm = svm_classifier.predict(X_test) accuracy_svm = accuracy_score(y_test, y_pred_svm) print(f"SVM accuracy: {accuracy_svm}") # Обучение классификатора Logistic Regression logreg_classifier = LogisticRegression() logreg_classifier.fit(X_train, y_train) # Предсказание на тестовой выборке и измерение точности y_pred_logreg = logreg_classifier.predict(X_test) accuracy_logreg = accuracy_score(y_test, y_pred_logreg) print(f"Logistic Regression accuracy: {accuracy_logreg}")После выполнения этого кода вы получите точность классификации для классификаторов SVM и Logistic Regression на тестовой выборке. Вы можете сравнить их производительность и выбрать наиболее подходящий классификатор для вашей задачи.
- User
ValueError Traceback (most recent call last) in <cell line: 15>() 13 14 # Разделение данных на обучающую и тестовую выборки ---> 15 audio_signals_train, audio_signals_test, labels_train, labels_test, vad_segments_train, vad_segments_test = train_test_split(audio_signals, labels, vad_segments, test_size=0.2, random_state=42) 16 17 # Создание обучающего и тестового наборов данных с использованием функции make_dataset
2 frames /usr/local/lib/python3.10/dist-packages/sklearn/utils/validation.py in check_consistent_length(*arrays) 395 uniques = np.unique(lengths) 396 if len(uniques) > 1: --> 397 raise ValueError( 398 "Found input variables with inconsistent numbers of samples: %r" 399 % [int(l) for l in lengths]
ValueError: Found input variables with inconsistent numbers of samples: [59, 59, 2]
- Assistant
Извините за ошибку. В функции
train_test_splitнеобходимо передать кортежи(audio_signals, labels)и(vad_segments, labels)вместо отдельных списков. Вот исправленный код:from sklearn.model_selection import train_test_split # Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Предположим, что у вас уже есть список сегментов vad_segments vad_segments = [ [[23996, 32539], [35410, 44925]], [[22141, 30259], [34917, 42695]] ] # Разделение данных на обучающую и тестовую выборки (audio_signals_train, labels_train), (audio_signals_test, labels_test) = train_test_split((audio_signals, labels), (vad_segments, labels), test_size=0.2, random_state=42) # Создание обучающего и тестового наборов данных с использованием функции make_dataset X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train) X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.
- User
ValueError Traceback (most recent call last) in <cell line: 15>() 13 14 # Разделение данных на обучающую и тестовую выборки ---> 15 (audio_signals_train, labels_train), (audio_signals_test, labels_test) = train_test_split((audio_signals, labels), (vad_segments, labels), test_size=0.2, random_state=42) 16 17 # Создание обучающего и тестового наборов данных с использованием функции make_dataset
ValueError: too many values to unpack (expected 2)
- Assistant
Моя ошибка, я неправильно понял ваш вопрос. Вам нужно разделить данные на обучающую и тестовую выборки, сохраняя соответствие между
audio_signals,labelsиvad_segments. Вот правильный способ сделать это:from sklearn.model_selection import train_test_split # Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Предположим, что у вас уже есть список сегментов vad_segments vad_segments = [ [[23996, 32539], [35410, 44925]], [[22141, 30259], [34917, 42695]] ] # Разделение данных на обучающую и тестовую выборки indices = list(range(len(audio_signals))) train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42) audio_signals_train = [audio_signals[i] for i in train_indices] labels_train = [labels[i] for i in train_indices] vad_segments_train = [vad_segments[i] for i in train_indices] audio_signals_test = [audio_signals[i] for i in test_indices] labels_test = [labels[i] for i in test_indices] vad_segments_test = [vad_segments[i] for i in test_indices] # Создание обучающего и тестового наборов данных с использованием функции make_dataset X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train) X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.
- User
IndexError Traceback (most recent call last) in <cell line: 20>() 18 audio_signals_train = [audio_signals[i] for i in train_indices] 19 labels_train = [labels[i] for i in train_indices] ---> 20 vad_segments_train = [vad_segments[i] for i in train_indices] 21 22 audio_signals_test = [audio_signals[i] for i in test_indices]
in (.0) 18 audio_signals_train = [audio_signals[i] for i in train_indices] 19 labels_train = [labels[i] for i in train_indices] ---> 20 vad_segments_train = [vad_segments[i] for i in train_indices] 21 22 audio_signals_test = [audio_signals[i] for i in test_indices]
IndexError: list index out of range
- Assistant
Извините за путаницу. Вам нужно сначала создать список
vad_segmentsдля всех аудиофайлов, а затем разделить его на обучающую и тестовую выборки. Вот исправленный код:from sklearn.model_selection import train_test_split # Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Создание списка сегментов vad для всех аудиофайлов vad_segments = [] for audio_data, sample_rate in zip(audio_signals, sr): audio_data_resampled = lr.resample(audio_data, orig_sr=sample_rate, target_sr=8000) segments, _ = vad(audio_data_resampled, 8000) vad_segments.append(segments) # Разделение данных на обучающую и тестовую выборки indices = list(range(len(audio_signals))) train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42) audio_signals_train = [audio_signals[i] for i in train_indices] labels_train = [labels[i] for i in train_indices] vad_segments_train = [vad_segments[i] for i in train_indices] audio_signals_test = [audio_signals[i] for i in test_indices] labels_test = [labels[i] for i in test_indices] vad_segments_test = [vad_segments[i] for i in test_indices] # Создание обучающего и тестового наборов данных с использованием функции make_dataset X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train) X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.
- User
TypeError Traceback (most recent call last) in <cell line: 10>() 8 # Создание списка сегментов vad для всех аудиофайлов 9 vad_segments = [] ---> 10 for audio_data, sample_rate in zip(audio_signals, sr): 11 audio_data_resampled = lr.resample(audio_data, orig_sr=sample_rate, target_sr=8000) 12 segments, _ = vad(audio_data_resampled, 8000)
TypeError: 'int' object is not iterable
- Assistant
Моя ошибка, я неправильно понял формат переменной
sr. Поскольку частота дискретизации одинакова для всех аудиофайлов, она представлена в виде одного числа, а не списка. Вот исправленный код:from sklearn.model_selection import train_test_split # Загрузка аудиофайлов и меток audio_signals, labels, sr, files = load_dataset("audio_data") # Создание списка сегментов vad для всех аудиофайлов vad_segments = [] for audio_data in audio_signals: audio_data_resampled = lr.resample(audio_data, orig_sr=sr, target_sr=8000) segments, _ = vad(audio_data_resampled, 8000) vad_segments.append(segments) # Разделение данных на обучающую и тестовую выборки indices = list(range(len(audio_signals))) train_indices, test_indices = train_test_split(indices, test_size=0.2, random_state=42) audio_signals_train = [audio_signals[i] for i in train_indices] labels_train = [labels[i] for i in train_indices] vad_segments_train = [vad_segments[i] for i in train_indices] audio_signals_test = [audio_signals[i] for i in test_indices] labels_test = [labels[i] for i in test_indices] vad_segments_test = [vad_segments[i] for i in test_indices] # Создание обучающего и тестового наборов данных с использованием функции make_dataset X_train, y_train = make_dataset(audio_signals_train, labels_train, vad_segments_train) X_test, y_test = make_dataset(audio_signals_test, labels_test, vad_segments_test)Теперь вы можете продолжить с обучением классификаторов и измерением их точности на тестовой выборке, как указано в предыдущем ответе.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.