Я написал этот код для разделения звуковой дорожки на колоса и фоновый шум: [code]…
- User
Я написал этот код для разделения звуковой дорожки на колоса и фоновый шум:
import torch import torchaudio import numpy as np import scipy import os from openunmix import predict # Загрузить аудио из файла org.wav audio, rate = torchaudio.load('org.wav') # Определить устройство для вычислений (cuda или cpu) use_cuda = torch.cuda.is_available() device = torch.device("cuda" if use_cuda else "cpu") # Разделить аудио на компоненты с помощью openunmix estimates = predict.separate( audio=torch.as_tensor(audio).float(), rate=rate, targets=['vocals', 'other'], #residual=True, device=device ) # Сохранить разделенные компоненты в новые файлы for target, audio in estimates.items(): # Преобразовать тензор в numpy массив audio = audio.detach().cpu().numpy()[0] # Сохранить аудио в файл с именем target.wav torchaudio.save(target + '.wav', torch.from_numpy(audio), rate)Однако, фоновый шум очень сильно заглушается, когда происходит голос. Можно ли это как-то исправить? Приведи код
- Assistant
Если вы хотите улучшить разделение звуковых компонентов, чтобы фоновый шум оставался более стабильным и менее зависимым от наличия голоса, есть несколько вариантов, которые можно попробовать:
- Использование параметра
residual_model=Trueпри вызове функцииpredict.separate, если он доступен в используемой вами версииopenunmix. Этот параметр позволяет использовать дополнительную модель для обработки остаточного звука, который не был отнесен ни к голосу, ни к фоновому шуму. - Подобрать желаемую модель (если доступны различные модели) или веса для модели, если предполагается возможность их изменения, чтобы обеспечить лучшее разделение.
- Вы можете использовать другие инструменты или методы постобработки, чтобы компенсировать изменения в уровне фонового шума.
Ниже пример, как можно применить первый вариант, если в вашей версии
openunmixподдерживается параметрresidual_model:import torch import torchaudio import os from openunmix import predict # Загрузить аудио из файла org.wav audio, rate = torchaudio.load('org.wav') # Определить устройство для вычислений (cuda или cpu) use_cuda = torch.cuda.is_available() device = torch.device("cuda" if use_cuda else "cpu") # Разделить аудио на компоненты с помощью openunmix, используя параметр residual_model estimates = predict.separate( audio=torch.as_tensor(audio).float(), rate=rate, targets=['vocals', 'accompaniment'], # Используйте 'accompaniment' вместо 'other', если это поддерживается residual_model=True, # Подключите, если такая опция есть в вашей версии openunmix device=device ) # Сохранить разделенные компоненты в новые файлы for target, audio in estimates.items(): # Преобразовать тензор в numpy массив audio = audio.detach().cpu().numpy()[0] # Сохранить аудио в файл с именем target.wav torchaudio.save(target + '.wav', torch.from_numpy(audio), rate)Пожалуйста, проверьте документацию
openunmix, чтобы убедиться в возможности использования параметраresidual_model, так как использованные параметры и методы могут отличаться в зависимости от версии библиотеки.Если описанные методы не помогут, возможно, потребуется дополнительная постобработка сигнала или применение альтернативных алгоритмов для разделения звуковых сигналов, что может требовать более сложного подхода и дополнительных исследований.
- Использование параметра