Skip to content
TheChatArchiveThe Chat Archive
gpt-4-1106-preview· OpenAIAi2 WildChat-4.8M (AI2)

Я написал этот код для разделения звуковой дорожки на колоса и фоновый шум: [code]…

  1. User

    Я написал этот код для разделения звуковой дорожки на колоса и фоновый шум:

    import torch
    import torchaudio
    import numpy as np
    import scipy
    import os
    from openunmix import predict
    
    # Загрузить аудио из файла org.wav
    audio, rate = torchaudio.load('org.wav')
    
    # Определить устройство для вычислений (cuda или cpu)
    use_cuda = torch.cuda.is_available()
    device = torch.device("cuda" if use_cuda else "cpu")
    
    # Разделить аудио на компоненты с помощью openunmix
    estimates = predict.separate(
        audio=torch.as_tensor(audio).float(),
        rate=rate,
        targets=['vocals', 'other'],
        #residual=True,
        device=device
    )
    
    # Сохранить разделенные компоненты в новые файлы
    for target, audio in estimates.items():
        # Преобразовать тензор в numpy массив
        audio = audio.detach().cpu().numpy()[0]
        # Сохранить аудио в файл с именем target.wav
        torchaudio.save(target + '.wav', torch.from_numpy(audio), rate)
    

    Однако, фоновый шум очень сильно заглушается, когда происходит голос. Можно ли это как-то исправить? Приведи код

  2. Assistant

    Если вы хотите улучшить разделение звуковых компонентов, чтобы фоновый шум оставался более стабильным и менее зависимым от наличия голоса, есть несколько вариантов, которые можно попробовать:

    1. Использование параметра residual_model=True при вызове функции predict.separate, если он доступен в используемой вами версии openunmix. Этот параметр позволяет использовать дополнительную модель для обработки остаточного звука, который не был отнесен ни к голосу, ни к фоновому шуму.
    2. Подобрать желаемую модель (если доступны различные модели) или веса для модели, если предполагается возможность их изменения, чтобы обеспечить лучшее разделение.
    3. Вы можете использовать другие инструменты или методы постобработки, чтобы компенсировать изменения в уровне фонового шума.

    Ниже пример, как можно применить первый вариант, если в вашей версии openunmix поддерживается параметр residual_model:

    import torch
    import torchaudio
    import os
    from openunmix import predict
    
    # Загрузить аудио из файла org.wav
    audio, rate = torchaudio.load('org.wav')
    
    # Определить устройство для вычислений (cuda или cpu)
    use_cuda = torch.cuda.is_available()
    device = torch.device("cuda" if use_cuda else "cpu")
    
    # Разделить аудио на компоненты с помощью openunmix, используя параметр residual_model
    estimates = predict.separate(
        audio=torch.as_tensor(audio).float(),
        rate=rate,
        targets=['vocals', 'accompaniment'], # Используйте 'accompaniment' вместо 'other', если это поддерживается
        residual_model=True, # Подключите, если такая опция есть в вашей версии openunmix
        device=device
    )
    
    # Сохранить разделенные компоненты в новые файлы
    for target, audio in estimates.items():
        # Преобразовать тензор в numpy массив
        audio = audio.detach().cpu().numpy()[0]
        # Сохранить аудио в файл с именем target.wav
        torchaudio.save(target + '.wav', torch.from_numpy(audio), rate)
    

    Пожалуйста, проверьте документацию openunmix, чтобы убедиться в возможности использования параметра residual_model, так как использованные параметры и методы могут отличаться в зависимости от версии библиотеки.

    Если описанные методы не помогут, возможно, потребуется дополнительная постобработка сигнала или применение альтернативных алгоритмов для разделения звуковых сигналов, что может требовать более сложного подхода и дополнительных исследований.