Import relevant packages from bokeh . io import output notebook import warnings import…
- User
Import relevant packages
from bokeh . io import output notebook import warnings import sys sys . path. append( ' /content/audio-fingerprinting ' ) import AudioFP as afp
warnings . filterwarnings( ' ignore ' ) output notebook()
Create AudioFP object for first song
song1 = afp.AudioFP(process='a')
Create AudioFP object for second song
song2 = afp.AudioFP(process='a')
Compare the fingerprints to check their similarity
afp.compare_fingerprints(song1, song2)
queen_under_pressure and vanilla_ice_ice_ice_baby are different Jaccard similarity = 0.0
- Assistant
It seems like you are trying to use an audio fingerprinting system (presumably from a custom library that is not part of standard Python packages, given that you're appending a specific folder to
sys.path). The purpose of this code is to generate audio fingerprints for two songs and then compare these fingerprints to determine their similarity.Here's a breakdown of the code:
-
from bokeh.io import output_notebook: Imports theoutput_notebookfunction from the Bokeh library, which is used for displaying plots in Jupyter notebooks. -
import warnings: Imports the warnings library, which can be used to control the display of warnings. -
import sys: Imports the system-specific parameters and functions module. -
sys.path.append('/content/audio-fingerprinting'): Adds the given directory to the system path to enable importing modules from that custom directory. This implies that there's a module namedAudioFPinside that directory. -
import AudioFP as afp: Imports theAudioFPmodule from the previously added directory and aliases it asafp. -
warnings.filterwarnings('ignore'): Configures the warnings filter to ignore all warnings. -
output_notebook(): Configures Bokeh to output its plots to a Jupyter notebook.
From the rest of the code, it looks like you've tried to perform the following actions:
-
song1 = afp.AudioFP(process='a'): Creates anAudioFPobject for the first song, passing the argument'a'to theprocessparameter. It's not clear what 'a' represents without looking at theAudioFPclass documentation. -
song2 = afp.AudioFP(process='a'): Does the same for the second song. -
afp.compare_fingerprints(song1, song2): Calls acompare_fingerprintsfunction, presumably from theafpmodule, to compare the fingerprints of the twoAudioFPobjects. The purpose is to measure the similarity of the audio content.
The result displayed (
"queen_under_pressure and vanilla_ice_ice_ice_baby are different"andJaccard similarity = 0.0) suggests the fingerprints of the two songs in question ("Under Pressure" by Queen and David Bowieand"Ice Ice Baby" by Vanilla Ice) are entirely dissimilar according to the Jaccard similarity metric. Normally, intrigued observers might notice this output as unexpected since "Ice Ice Baby" is known to sample the bassline from "Under Pressure," and one might expect a nonzero similarity score.Please note the following:
- Custom module
AudioFPis not a standard library, and I don't have access to its implementation. Ensure that it is implemented correctly and you're using it as intended. - The similarity score is context-dependent and may depend on the specifics of the fingerprinting algorithm and the audio data. Make sure the audio files were processed correctly, and the fingerprints represent valid signatures.
- This code won't run successfully as-is, outside of your specific environment, since the
AudioFPmodule isn't publicly available. Anyone trying to run this code would need access to this custom library and any relevant audio data. - If you're encountering issues with the accuracy of the similarity measurement, consider verifying the implementation of the audio fingerprinting process, how the Jaccard similarity is computed, and ensure that the audio data is not corrupted or altered in a way that would affect the analysis.
-
- User
Ví isto no seguinte site https://github.com/gened1080/audio-fingerprinting/tree/master Podias me adaptar para num script de Python fazer a comparação entre dois ficheiros? file1.wav e file2.wav na pasta c:\meu do windows
- Assistant
Para efetuar a comparação entre dois arquivos de áudio usando o sistema de fingerprinting disponível no repositório do GitHub que mencionou, é necessário primeiramente clonar o repositório e instalar todas as dependências necessárias. Abaixo, segue um exemplo de script em Python que realiza a comparação entre dois arquivos (
file1.wavefile2.wav) localizados na pastac:\meuno Windows:import sys # Adiciona o caminho para o módulo audio fingerprinting (clonado do GitHub) sys.path.append(r'c:\caminho_para_o_repo_clonado\audio-fingerprinting') import AudioFP as afp import os # Especifica o diretório dos arquivos de áudio no Windows file1_path = r'c:\meu\file1.wav' file2_path = r'c:\meu\file2.wav' # Verifica se ambos os arquivos estão acessíveis if not os.path.isfile(file1_path): print(f"O arquivo {file1_path} não foi encontrado.") sys.exit() if not os.path.isfile(file2_path): print(f"O arquivo {file2_path} não foi encontrado.") sys.exit() # Cria objetos AudioFP para ambos os arquivos # O parâmetro 'audio' deve ser o caminho para o arquivo de áudio song1 = afp.AudioFP(audio=file1_path) song2 = afp.AudioFP(audio=file2_path) # Compara as digitalizações (fingerprints) dos arquivos de áudio similarity = afp.compare_fingerprints(song1, song2) # Imprime o resultado da similaridade print(f"A similaridade entre os arquivos é: {similarity}")Siga estes passos para o script funcionar corretamente:
- Clone o repositório do sistema de fingerprinting de áudio que mencionou.
- Instale todas as dependências necessárias listadas no arquivo
requirements.txtque se encontra no repositório. Normalmente, isso é feito utilizando o comandopip install -r requirements.txtna linha de comando. - Modifique o caminho
r'c:\caminho_para_o_repo_clonado\audio-fingerprinting'no script para apontar para o local em que você clonou o repositório. - Substitua os caminhos
file1_pathefile2_pathpelos caminhos reais onde os seus arquivosfile1.wavefile2.wavestão localizados. - Execute o script no seu ambiente Python.
Note que o módulo
AudioFPe a funçãocompare_fingerprintsdevem existir e ser utilizáveis conforme implementados no repositório clonado. A função de comparação deve retornar alguma medida de similaridade, que será impressa no final do script.Por favor, certifique-se de que seu ambiente Python esteja configurado corretamente e que todos os requisitos de dependência estejam satisfeitos antes de executar este script.
- User
import numpy as np import pydub import scipy.signal import skimage.feature import datasketch from bokeh.plotting import figure, show import pyaudio import warnings import sys import pickle import os
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP():
# Initializing AudioFP object. # Creating the AudioFP class object will prompt the user to chose whether they would like to read audio # from a file or to record using a microphone, or to open an already saved object. # Enter 'f' to read an audio file, 'r' to record, or 's' to open a saved object. # Entering any other character will cause the program to throw an exception and exit. # The user is also prompted to choose whether they want to generate plots. # Enter 'y' to generate plots or 'n' to skip plotting. # After these user selections are made, the program automatically reads/records audio, generate # a sprectrogram, finds the local peaks in the spectrogram, and generates a fingerprint # or simply reads an existing AudioFP object from file. # Finally, if the user chose to read audio from file or record it, they are prompted to choose # whether they want to save the object to file. Enter 'y' to save or 'n' to skip. def __init__(self, process='m'): self.songname = '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if process == 'a': self.ask_user() elif process == 'm': pass else: if input('Enter "a" for automated fingerprinting or "m" to proceed manually: ') == 'a': self.ask_user() else: sys.exit('''Error: Incorrect entry.''') def ask_user(self): audio_type = input('Enter "f" to read from audio file or "s" to open saved fingerprint: ') if audio_type == 'f': filename = input('Enter the filename you want to read (excluding the extension): ') self.songname = filename if input('Do you want to show all plots? Enter "y" or "n": ') == 'y': plot = True else: plot = False channels, self.framerate = self.read_audiofile(plot, filename) f, t, sgram = self.generate_spectrogram(plot, channels, self.framerate) fp, tp, peaks = self.find_peaks(plot, f, t, sgram) self.generate_fingerprint(plot, fp, tp, peaks) if input('Do you want to save the fingerprint to file for later use? Enter "y" or "n": ') == 'y': self.save_fingerprint() else: print('Not saving anything') elif audio_type == 's': objname = input('Enter the filename (excluding the extention) where the fingerprint is saved: ') objname = os.getcwd() + '/audio-fingerprinting/songs/' + objname + '.pkl' with open(objname, 'rb') as inputobj: data = pickle.load(inputobj) self.songname = data['songname'] self.fingerprint = data['fingerprint'] self.framerate = data['framerate'] if input('Do you want to see the details of the file? Enter "y" or "n": ') == 'y': plot = True print('Songname: ', self.songname) print('Framerate: ', self.framerate) print('Audio-fingerprint:') print(self.fingerprint.digest()) else: plot = False else: sys.exit('''Error: Incorrect entry. Enter "f" to read an audio file, "r" to record, or "s" to open a saved object''') # Read audio file using pydub and plot signal. # The audio file has to be .mp3 format def read_audiofile(self, plot, filename): songdata = [] # Empty list for holding audio data channels = [] # Empty list to hold data from separate channels filename = os.getcwd() + '/audio-fingerprinting/songs/' + filename audiofile = pydub.AudioSegment.from_file(filename + '.mp3') audiofile = audiofile[:30000].fade_out(2000) # keeping only first 20s and adding fade out (to reduce RAM requirements) self.songname = os.path.split(filename)[1] songdata = np.frombuffer(audiofile._data, np.int16) for chn in range(audiofile.channels): channels.append(songdata[chn::audiofile.channels]) # separate signal from channels framerate = audiofile.frame_rate channels = np.sum(channels, axis=0) / len(channels) # Averaging signal over all channelschannels = channels[:int(2 * len(channels) / 3)]
# Plot time signal if plot: p1 = figure(width=900, height=500, title='Audio Signal', x_axis_label='Time (s)', y_axis_label='Amplitude (arb. units)') time = np.linspace(0, len(channels)/framerate, len(channels)) p1.line(time[0::1000], channels[0::1000]) show(p1) return channels, framerate # Generate and plot spectrogram of audio data def generate_spectrogram(self, plot, audiosignal, framerate): fs = framerate # sampling rate window = 'hamming' # window function noverlap = int(overlap_ratio * nperseg) # number of points to overlap # generate spectrogram from consecutive FFTs over the defined window f, t, sgram = scipy.signal.spectrogram(audiosignal, fs, window, nperseg, noverlap) sgram = 10 * np.log10(sgram) # transmorm linear output to dB scale sgram[sgram == -np.inf] = 0 # replace infs with zeros # Plot Spectrogram if plot: p2 = figure(width=900, height=500, title='Spectrogram', x_axis_label='Time (s)', y_axis_label='Frequency (Hz)', x_range=(min(t), max(t)), y_range=(min(f), max(f))) p2.image([sgram[::2, ::2]], x=min(t), y=min(f), dw=max(t), dh=max(f), palette='Spectral11') show(p2) return f, t, sgram # Find peaks in the spectrogram using image processing def find_peaks(self, plot, f, t, sgram): coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, indices=True, threshold_abs=min_peak_amp) peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] # Plot the peaks detected on the spectrogram if plot: p3 = figure(width=900, height=500, title='Spectrogram with Peaks', x_axis_label='Time (s)', y_axis_label='Frequency (Hz)', x_range=(min(t), max(t)), y_range=(min(f), max(f))) p3.image([sgram[::2, ::2]], x=min(t), y=min(f), dw=max(t), dh=max(f), palette='Spectral11') p3.scatter(tp, fp) show(p3) return fp, tp, peaks # Use the peak data from the spectrogram to generate a string with pairs of # peak frequencies and the time delta between them. def generate_fingerprint(self, plot, fp, tp, peaks): # Create the data to be used for fingerprinting # for each frequency (anchor) find the next few frequencies (targets) and calculate their time deltas # the anchor-target frequency pairs and their time deltas will be used to generate the fingerprints s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: s.append(str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta))) for data in s: self.fingerprint.update(data.encode('utf8')) if plot: print('{} audio-fingerprint: '.format(self.songname)) print(self.fingerprint.digest()) # Save the AudioFP object to file for later use def save_fingerprint(self): filename = os.getcwd() + '/audio-fingerprinting/songs/' + self.songname + '.pkl' obj_dict = {'songname': self.songname, 'fingerprint': self.fingerprint, 'framerate': self.framerate} print('Saving the fingerprint for:', self.songname) with open(filename, 'wb') as output: # Overwrites any existing file. pickle.dump(obj_dict, output, pickle.HIGHEST_PROTOCOL)Compare fingerprints of two songs
def compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union jac_sim = inter / union return jac_sim
Add Gaussian white noise to a signal
def add_noise(signal, framerate): time = np.linspace(0, len(signal)/framerate, len(signal)) signalpower = signal ** 2 # Set a target channel noise power to something very noisy target_noise_db = int(input('Enter the noise level you want to add in dB: ')) # Convert to linear units target_noise_power = 10 ** (target_noise_db / 10) # Generate noise samples mean_noise = 0 noise = np.random.normal(mean_noise, np.sqrt(target_noise_power), len(signal)) # Noise up the original signal (again) and plot noisy_signal = signal + noise return noisy_signal
pip install skimage Collecting skimage Using cached skimage-0.0.tar.gz (757 bytes) Installing build dependencies ... done Getting requirements to build wheel ... error error: subprocess-exited-with-error
× Getting requirements to build wheel did not run successfully. │ exit code: 1 ╰─> [3 lines of output]
*** Please install the `scikit-image` package (instead of `skimage`) *** [end of output]note: This error originates from a subprocess, and is likely not a problem with pip. error: subprocess-exited-with-error
× Getting requirements to build wheel did not run successfully. │ exit code: 1 ╰─> See above for output.
note: This error originates from a subprocess, and is likely not a problem with pip.
- Assistant
A biblioteca que você quer instalar é chamada
scikit-image, mas você tentou instalar uma biblioteca chamadaskimage, que não existe. Este é um erro comum, pois o nome do pacote é frequentemente abreviado paraskimageem conversas, mas o nome real do pacote éscikit-image. Para corrigir o problema, você deve instalar a biblioteca correta usando o seguinte comando:pip install scikit-imageCertifique-se de executar este comando em seu ambiente onde você planeja executar o script de fingerprinting de áudio.
Quanto ao restante do script, deixo abaixo uma versão simplificada do código necessário para comparar as impressões digitais de áudio de dois arquivos
.wavlocalizados na pastac:\meudo Windows. Vou assumir que o código que você forneceu está correto e que a entrada de áudio é formatada adequadamente.import os from AudioFP import AudioFP, compare_fingerprints # Caminhos absolutos para os arquivos de áudio no Windows file1_path = r'c:\meu\file1.wav' file2_path = r'c:\meu\file2.wav' # Certifique-se de que os caminhos dos arquivos sejam válidos assert os.path.isfile(file1_path), f"O arquivo '{file1_path}' não foi encontrado." assert os.path.isfile(file2_path), f"O arquivo '{file2_path}' não foi encontrado." # Cria objetos AudioFP para ambos os arquivos song1 = AudioFP() song1.read_audiofile(False, file1_path) song2 = AudioFP() song2.read_audiofile(False, file2_path) # Compara as impressões digitais dos dois arquivos de áudio compare_fingerprints(song1, song2)Lembre-se de colocar o arquivo
AudioFP.pyem seuPYTHONPATHou no mesmo diretório do seu script para que ele possa ser importado corretamente.Houve algumas modificações necessárias no seu código original:
- Removi a interação direta com o usuário por meio de
input()e automatizei o processo. - As funções
read_audiofilenão salvam automaticamente os resultados em arquivos.pkle não plotam os gráficos. - O método
read_audiofileno código original pareceu esperar um nome de arquivo sem extensão e manipulou internamente para encontrar um arquivo '.mp3'. No entanto, a sua solicitação era para processar arquivos '.wav', então essa função pode precisar de ajustes para processá-los corretamente.
Confirme se as funções utilizadas no código estão funcionando conforme o esperado e, se necessário, ajuste-as para que corresponderem à entrada e saída desejadas (por exemplo, processar arquivos '.wav' em vez de '.mp3').
- Removi a interação direta com o usuário por meio de
- User
Mas mantém-se import skimage.feature
- Assistant
Sim, em relação ao
import skimage.feature, parece que se refere à parte do código que importa a funcionalidade de detecção de picos da bibliotecascikit-image. Portanto, oimport skimage.featureé válido, desde quescikit-imageesteja instalado corretamente em seu ambiente Python.Para garantir que você tenha todas as dependências necessárias instaladas (incluindo
scikit-image), você pode executar o seguinte comando:pip install scikit-imageCom
scikit-imageinstalado, você poderá importarskimage.featuree usar a funçãopeak_local_max, que parece estar sendo utilizada para encontrar picos locais no espectrograma da seguinte maneira:from skimage.feature import peak_local_maxIsso permitirá que você chame
peak_local_max(...)com os parâmetros adequados, conforme é feito no métodofind_peaksdentro da classeAudioFP. Certifique-se de que todas as outras dependências também estejam instaladas para evitar quaisquer problemas ao executar o script.Se você estiver usando um ambiente virtual para o seu projeto (o que é recomendado), ative o ambiente virtual antes de instalar as dependências. Se precisar de mais assistência, não hesite em perguntar.
- User
adapta o scrypt para comparar file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav'
import AudioFP, compare_fingerprints ... import numpy as np import pydub import scipy.signal import skimage.feature import datasketch from bokeh.plotting import figure, show import pyaudio import warnings import sys import pickle import os
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP():
# Initializing AudioFP object. # Creating the AudioFP class object will prompt the user to chose whether they would like to read audio # from a file or to record using a microphone, or to open an already saved object. # Enter 'f' to read an audio file, 'r' to record, or 's' to open a saved object. # Entering any other character will cause the program to throw an exception and exit. # The user is also prompted to choose whether they want to generate plots. # Enter 'y' to generate plots or 'n' to skip plotting. # After these user selections are made, the program automatically reads/records audio, generate # a sprectrogram, finds the local peaks in the spectrogram, and generates a fingerprint # or simply reads an existing AudioFP object from file. # Finally, if the user chose to read audio from file or record it, they are prompted to choose # whether they want to save the object to file. Enter 'y' to save or 'n' to skip. def __init__(self, process='m'): self.songname = '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if process == 'a': self.ask_user() elif process == 'm': pass else: if input('Enter "a" for automated fingerprinting or "m" to proceed manually: ') == 'a': self.ask_user() else: sys.exit('''Error: Incorrect entry.''') def ask_user(self): audio_type = input('Enter "f" to read from audio file or "s" to open saved fingerprint: ') if audio_type == 'f': filename = input('Enter the filename you want to read (excluding the extension): ') self.songname = filename if input('Do you want to show all plots? Enter "y" or "n": ') == 'y': plot = True else: plot = False channels, self.framerate = self.read_audiofile(plot, filename) f, t, sgram = self.generate_spectrogram(plot, channels, self.framerate) fp, tp, peaks = self.find_peaks(plot, f, t, sgram) self.generate_fingerprint(plot, fp, tp, peaks) if input('Do you want to save the fingerprint to file for later use? Enter "y" or "n": ') == 'y': self.save_fingerprint() else: print('Not saving anything') elif audio_type == 's': objname = input('Enter the filename (excluding the extention) where the fingerprint is saved: ') objname = os.getcwd() + '/audio-fingerprinting/songs/' + objname + '.pkl' with open(objname, 'rb') as inputobj: data = pickle.load(inputobj) self.songname = data['songname'] self.fingerprint = data['fingerprint'] self.framerate = data['framerate'] if input('Do you want to see the details of the file? Enter "y" or "n": ') == 'y': plot = True print('Songname: ', self.songname) print('Framerate: ', self.framerate) print('Audio-fingerprint:') print(self.fingerprint.digest()) else: plot = False else: sys.exit('''Error: Incorrect entry. Enter "f" to read an audio file, "r" to record, or "s" to open a saved object''') # Read audio file using pydub and plot signal. # The audio file has to be .mp3 format def read_audiofile(self, plot, filename): songdata = [] # Empty list for holding audio data channels = [] # Empty list to hold data from separate channels filename = os.getcwd() + '/audio-fingerprinting/songs/' + filename audiofile = pydub.AudioSegment.from_file(filename + '.mp3') audiofile = audiofile[:30000].fade_out(2000) # keeping only first 20s and adding fade out (to reduce RAM requirements) self.songname = os.path.split(filename)[1] songdata = np.frombuffer(audiofile._data, np.int16) for chn in range(audiofile.channels): channels.append(songdata[chn::audiofile.channels]) # separate signal from channels framerate = audiofile.frame_rate channels = np.sum(channels, axis=0) / len(channels) # Averaging signal over all channelschannels = channels[:int(2 * len(channels) / 3)]
# Plot time signal if plot: p1 = figure(width=900, height=500, title='Audio Signal', x_axis_label='Time (s)', y_axis_label='Amplitude (arb. units)') time = np.linspace(0, len(channels)/framerate, len(channels)) p1.line(time[0::1000], channels[0::1000]) show(p1) return channels, framerate # Generate and plot spectrogram of audio data def generate_spectrogram(self, plot, audiosignal, framerate): fs = framerate # sampling rate window = 'hamming' # window function noverlap = int(overlap_ratio * nperseg) # number of points to overlap # generate spectrogram from consecutive FFTs over the defined window f, t, sgram = scipy.signal.spectrogram(audiosignal, fs, window, nperseg, noverlap) sgram = 10 * np.log10(sgram) # transmorm linear output to dB scale sgram[sgram == -np.inf] = 0 # replace infs with zeros # Plot Spectrogram if plot: p2 = figure(width=900, height=500, title='Spectrogram', x_axis_label='Time (s)', y_axis_label='Frequency (Hz)', x_range=(min(t), max(t)), y_range=(min(f), max(f))) p2.image([sgram[::2, ::2]], x=min(t), y=min(f), dw=max(t), dh=max(f), palette='Spectral11') show(p2) return f, t, sgram # Find peaks in the spectrogram using image processing def find_peaks(self, plot, f, t, sgram): coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, indices=True, threshold_abs=min_peak_amp) peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] # Plot the peaks detected on the spectrogram if plot: p3 = figure(width=900, height=500, title='Spectrogram with Peaks', x_axis_label='Time (s)', y_axis_label='Frequency (Hz)', x_range=(min(t), max(t)), y_range=(min(f), max(f))) p3.image([sgram[::2, ::2]], x=min(t), y=min(f), dw=max(t), dh=max(f), palette='Spectral11') p3.scatter(tp, fp) show(p3) return fp, tp, peaks # Use the peak data from the spectrogram to generate a string with pairs of # peak frequencies and the time delta between them. def generate_fingerprint(self, plot, fp, tp, peaks): # Create the data to be used for fingerprinting # for each frequency (anchor) find the next few frequencies (targets) and calculate their time deltas # the anchor-target frequency pairs and their time deltas will be used to generate the fingerprints s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: s.append(str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta))) for data in s: self.fingerprint.update(data.encode('utf8')) if plot: print('{} audio-fingerprint: '.format(self.songname)) print(self.fingerprint.digest()) # Save the AudioFP object to file for later use def save_fingerprint(self): filename = os.getcwd() + '/audio-fingerprinting/songs/' + self.songname + '.pkl' obj_dict = {'songname': self.songname, 'fingerprint': self.fingerprint, 'framerate': self.framerate} print('Saving the fingerprint for:', self.songname) with open(filename, 'wb') as output: # Overwrites any existing file. pickle.dump(obj_dict, output, pickle.HIGHEST_PROTOCOL)Compare fingerprints of two songs
def compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union jac_sim = inter / union return jac_sim
Add Gaussian white noise to a signal
def add_noise(signal, framerate): time = np.linspace(0, len(signal)/framerate, len(signal)) signalpower = signal ** 2 # Set a target channel noise power to something very noisy target_noise_db = int(input('Enter the noise level you want to add in dB: ')) # Convert to linear units target_noise_power = 10 ** (target_noise_db / 10) # Generate noise samples mean_noise = 0 noise = np.random.normal(mean_noise, np.sqrt(target_noise_power), len(signal)) # Noise up the original signal (again) and plot noisy_signal = signal + noise return noisy_signal
- Assistant
Parece que você deseja adaptar o código de comparação de impressões digitais de áudio para utilizar arquivos
.wavem vez de.mp3e para operar automaticamente sem interação do usuário. Vamos simplificar o script, focando na leitura dos arquivos especificados e na realização da comparação das impressões digitais.Primeiro, vamos alterar o método
read_audiofilee outros métodos relevantes dentro da classeAudioFPpara processar arquivos.wav. Além disso, vamos remover todas as entradas do usuário e interações de visualização para operar o script automatizado.Para que este script funcione corretamente, você deve ter todos os pacotes necessários instalados. Certifique-se de instalar
pydub,scikit-image,numpy,scipy, edatasketchno seu ambiente Python usando opip.Aqui está o script adaptado:
import numpy as np import pydub import scipy.signal import skimage.feature import datasketch import os import pickle from pydub import AudioSegment # Os parâmetros pré-definidos permanecem os mesmos... # A classe AudioFP agora focada em .wav e sem interações do usuário... class AudioFP(): def __init__(self, filename=None): self.songname = os.path.basename(filename) if filename else '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks) def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate # O resto dos métodos continuam os mesmos, com a remoção dos argumentos plot e outras interações do usuário. # As funções compare_fingerprints e calc_jaccard são mantidas inalteradas # Exemplo de uso das funções definidas acima def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav' # Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2) if __name__ == "__main__": main()Certifique-se de que os arquivos
.wav(neste exemplo,a.waveb.wav) realmente existam no local especificado emc:\meu\. Este script deverá ler os dois arquivos, criar impressões digitais de áudio para ambos e, em seguida, comparar essas impressões digitais, imprimindo o nível de similaridade.Como nota lateral, este script é bastante simplificado e faz algumas suposições, como que os arquivos de áudio são
.wav. Além disso, remove quaisquer opções de visualização e interação do usuário para um processo totalmente automatizado. - User
Exception has occurred: SyntaxError (note: full exception trace is shown but execution is paused at: _run_module_as_main) invalid character in identifier (audiofingerprints1.py, line 40) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 194, in _run_module_as_main (Current frame) return _run_code(code, main_globals, None, SyntaxError: invalid character in identifier (audiofingerprints1.py, line 40)
tenho: import numpy as np import pydub import scipy.signal import skimage.feature import datasketch import os import pickle from pydub import AudioSegment
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP(): #def init(self, filename=None): def init(self, filename=None): self.songname = os.path.basename(filename) if filename else ‘’ self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks)
def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate # Compare fingerprints of two songsdef compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union jac_sim = inter / union return jac_sim
def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav'
# Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2)if name== "main": main()
- Assistant
O erro que você está enfrentando se deve a dois problemas principais no seu código:
-
Erro de digitação no nome do método construtor da classe: Você está usando
_init_no lugar de__init__(com dois sublinhados antes e depois). Isso é fundamental porque__init__é um método especial no Python, conhecido como o construtor da classe, e é crucial que seja digitado corretamente. -
Uso incorreto de aspas: Em vez de usar as aspas simples ou duplas padrão (
''ou""), parece que um caractere de aspas tipográfico (‘’) foi utilizado emself.songname. Isso não é reconhecido pelo Python como uma delimitação de string.
Segue uma versão corrigida da declaração da classe
AudioFPcom o construtor corrigido e aspas adequadas:class AudioFP(): def __init__(self, filename=None): # Corrigido para usar dois sublinhados antes e depois self.songname = os.path.basename(filename) if filename else "" self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks) # Resto da implementação...E a verificação no
ifprincipal deve comparar com'__main__':if __name__ == "__main__": main()Com essas correções, o código deve funcionar corretamente, supondo que todas as funções membros da classe
AudioFP(comoread_audiofile,generate_spectrogram, etc.) estejam implementadas corretamente e as dependências necessárias estejam instaladas no seu ambiente Python.Além disso, eu verifiquei que você está usando a biblioteca
pydubpara leitura de arquivos.wav. Certifique-se de que tem a biblioteca instalada, e, se estiver trabalhando com arquivos.mp3, instale também o pacoteffmpegoulibav.Para instalar
pydubeffmpeg:pip install pydubSE estiver faltando o ffmpeg, pode instalar em sistemas baseados em Debian com:
sudo apt-get install ffmpegEm sistemas Windows, você pode precisar baixar o
ffmpegmanualmente do site oficial (https://ffmpeg.org/download.html) e adicionar o diretório que contém offmpeg.exeao seuPATH. -
- User
agora não dá erros mas também não imprime nada na linha de comando Mesmo se não tenho o ficheiro b.wav
- Assistant
Se o script não está imprimindo nada e também não está apresentando erros, existe a possibilidade de duas situações estarem acontecendo:
-
O bloco
if __name__ == "__main__":pode não estar executando a funçãomain()como pretendido devido a um erro de digitação. Verifique se está escrito corretamente no seu script. Lembre-se que deve ser exatamente"__main__"com dois sublinhados de cada lado. -
Pode ser que o caminho do arquivo esteja incorreto ou o arquivo não esteja presente na localização esperada. Nesse caso, como o script não possui tratamento de erros explícito para arquivos faltantes, ele simplesmente pode não executar a comparação sem dar feedback.
Para ajudar a identificar o que está acontecendo, vamos adicionar algumas afirmações e declarações de impressão ao seu código para verificar se os arquivos existem e também para confirmar que o script está chegando a diferentes pontos no código.
Aqui está uma versão ajustada do seu código com verificações adicionadas:
def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav' # Verifique se o arquivo file1_path existe assert os.path.isfile(file1_path), f"Arquivo não encontrado: {file1_path}" print(f"O arquivo {file1_path} foi encontrado.") # Verifique se o arquivo file2_path existe assert os.path.isfile(file2_path), f"Arquivo não encontrado: {file2_path}" print(f"O arquivo {file2_path} foi encontrado.") # Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) print(f"Impressão digital gerada para o arquivo: {file1_path}") song2 = AudioFP(filename=file2_path) print(f"Impressão digital gerada para o arquivo: {file2_path}") # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2) # Certifique-se de que esta linha esteja exatamente assim: if __name__ == "__main__": print("Executando o script de comparação de impressões digitais...") main() print("Script concluído.")Verifique se o código
if __name__ == "__main__":está no fundo do seu script Python. Essa é a convenção padrão para executar a funçãomain()quando o script está sendo executado como principal e não sendo importado como um módulo.Se, após essas alterações, você ainda não ver nada impresso na linha de comando, certifique-se de que está executando o arquivo Python correto no terminal e que o ambiente Python está configurado corretamente. Em alguns casos, pode ser necessário reiniciar o terminal ou a IDE que você está usando para atualizar as variáveis de ambiente.
Também é sempre uma boa prática certificar-se de que você está na pasta correta quando executa o script, ou então forneça o caminho absoluto para o script Python na linha de comando. Por exemplo:
python c:\caminho_para_o_script\seu_script.pyOu, caso você esteja utilizando um ambiente virtual Python, verifique se o ambiente está ativado antes de executar o script.
-
- User
Exception has occurred: AttributeError (note: full exception trace is shown but execution is paused at: _run_module_as_main) 'AudioFP' object has no attribute 'generate_spectrogram' File "C:\meu\audiofingerprints1.py", line 45, in init f, t, sgram = self.generate_spectrogram(channels, self.framerate) File "C:\meu\audiofingerprints1.py", line 91, in main song1 = AudioFP(filename=file1_path) File "C:\meu\audiofingerprints1.py", line 97, in main() File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 194, in _run_module_as_main (Current frame) return _run_code(code, main_globals, None, AttributeError: 'AudioFP' object has no attribute 'generate_spectrogram'ou outro
import numpy as np import pydub import scipy.signal import skimage.feature import datasketch import os import pickle from pydub import AudioSegment
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP(): def init(self, filename=None): #def init(self, filename=None): self.songname = os.path.basename(filename) if filename else '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks)
def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate # Compare fingerprints of two songsdef compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union jac_sim = inter / union return jac_sim
def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav'
# Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2)if name== "main": main()
- Assistant
O erro
AttributeError: 'AudioFP' object has no attribute 'generate_spectrogram'indica que a classeAudioFPnão contém um método chamadogenerate_spectrogram. Parece que o código fornecido para a classeAudioFPestá incompleto e não contém todos os métodos mencionados no construtor__init__.Você precisará definir o método
generate_spectrogramdentro da classeAudioFPda mesma maneira que você definiuread_audiofile. Segue um exemplo de como esse método pode ser implementado com base nas informações que você forneceu anteriormente:# Dentro da classe AudioFP... def generate_spectrogram(self, audiosignal, framerate): fs = framerate # sampling rate window = scipy.signal.get_window('hamming', nperseg) # window function noverlap = int(overlap_ratio * nperseg) # number of points to overlap # generate spectrogram from consecutive FFTs over the defined window f, t, sgram = scipy.signal.spectrogram(audiosignal, fs, window, nperseg, noverlap, mode='magnitude') sgram = 20 * np.log10(sgram) # transmorm linear output to dB scale sgram[sgram == -np.inf] = 0 # replace infs with zeros return f, t, sgramDe forma semelhante, você terá que implementar o método
find_peaksdentro da classeAudioFP:# Dentro da classe AudioFP... def find_peaks(self, f, t, sgram): # Ajustar conforme a sua definição anterior de parâmetros coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, thresholds_rel=min_peak_amp) peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] return fp, tp, peaksE também o método
generate_fingerprint:# Dentro da classe AudioFP... def generate_fingerprint(self, fp, tp, peaks): s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: s.append(str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta))) for data in s: self.fingerprint.update(data.encode('utf8'))Um erro comum ocorre quando os métodos não são corretamente indentados e definidos dentro da classe. Certifique-se de que todos os métodos, incluindo
generate_spectrogram,find_peaks, egenerate_fingerprintestejam dentro do escopo da classeAudioFP, com a indentação apropriada para que sejam considerados membros da classe.Por fim, assegure-se de que o final do seu script, onde você está verificando
if __name__ == "__main__":, esteja com a sintaxe correta:# No final do script... if __name__ == "__main__": main()Assegure-se de que você tem duas sublinhas antes e depois do
__main__.Com essas correções, revise o script completo e verifique se todos os métodos necessários estão implementados e se as funções auxiliares
compare_fingerprintsecalc_jaccardestão fora da classeAudioFP, porém ainda dentro do seu script Python.Verifique também que as dependências
pydub,scipy,numpy,datasketch, escikit-imageestão instaladas corretamente no seu ambiente Python. - User
Exception has occurred: TypeError (note: full exception trace is shown but execution is paused at: _run_module_as_main) peak_local_max() got an unexpected keyword argument 'thresholds_rel' File "C:\meu\audiofingerprints1.py", line 70, in find_peaks coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, thresholds_rel=min_peak_amp) File "C:\meu\audiofingerprints1.py", line 46, in init fp, tp, peaks = self.find_peaks(f, t, sgram) File "C:\meu\audiofingerprints1.py", line 124, in main song1 = AudioFP(filename=file1_path) File "C:\meu\audiofingerprints1.py", line 130, in main() File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 194, in _run_module_as_main (Current frame) return _run_code(code, main_globals, None, TypeError: peak_local_max() got an unexpected keyword argument 'thresholds_rel'
import numpy as np import pydub import scipy.signal import skimage.feature import datasketch import os import pickle from pydub import AudioSegment
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP(): def init(self, filename=None): #def init(self, filename=None): self.songname = os.path.basename(filename) if filename else '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks)
def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate def generate_spectrogram(self, audiosignal, framerate): fs = framerate # sampling rate window = scipy.signal.get_window('hamming', nperseg) # window function noverlap = int(overlap_ratio * nperseg) # number of points to overlap # generate spectrogram from consecutive FFTs over the defined window f, t, sgram = scipy.signal.spectrogram(audiosignal, fs, window, nperseg, noverlap, mode='magnitude') sgram = 20 * np.log10(sgram) # transmorm linear output to dB scale sgram[sgram == -np.inf] = 0 # replace infs with zeros return f, t, sgram def find_peaks(self, f, t, sgram): # Ajustar conforme a sua definição anterior de parâmetros coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, thresholds_rel=min_peak_amp) peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] return fp, tp, peaks def generate_fingerprint(self, fp, tp, peaks): s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: s.append(str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta))) for data in s: self.fingerprint.update(data.encode('utf8')) # Compare fingerprints of two songsdef compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union jac_sim = inter / union return jac_sim
def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav'
# Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2)if name== "main": main()
- Assistant
O erro é causado porque o argumento
thresholds_relnão é um parâmetro válido para a funçãopeak_local_maxda bibliotecaskimage.feature. O argumento correto que você provavelmente está tentando usar éthreshold_abs, que define o limite absoluto para a amplitude dos picos. Vamos corrigir isso no métodofind_peaks:def find_peaks(self, f, t, sgram): coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, threshold_abs=min_peak_amp) # Corrigido aqui peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] return fp, tp, peaksLembre-se de que o parâmetro
threshold_absdefine a amplitude mínima que um pico deve ter no espectrograma para ser considerado um pico. Aqui estamos usandomin_peak_ampque você definiu previamente.Depois de corrigir isso, seu script deve funcionar para encontrar picos no espectrograma. Isso também destaca a importância de verificar a documentação da biblioteca ao usar funções para garantir que os argumentos e parâmetros estejam corretos.
Além disso, o método
generate_fingerprintestá criando uma string que é então inserida noMinHash. Se esta for a forma pretendida de funcionar da sua função de hashing, então está correto. No entanto, garantir que o formato dos dados e o esquema de hash estão coerentes é crucial para a comparação correta das impressões digitais.Após essas correções, verifique se outras funções do seu código estão corretas e se os arquivos de áudio
a.waveb.wavrealmente existem no diretórioc:\meu\. Se eles não existirem e você estiver tentando processá-los, o script continuará sem fazer nada, visto que casualmente removeu as verificações de presença dos arquivos.Por último, corrija a condição final no seu script:
if __name__ == "__main__": # Certifique-se de que há dois underscores de cada lado de main main()Essas correções devem permitir que o seu script execute e processe os arquivos de áudio como pretendido.
- User
C:\meu\audiofingerprints1.py:115: RuntimeWarning: invalid value encountered in scalar divide jac_sim = inter / union a.wav and b.wav are different Jaccard similarity = nan
- Assistant
O aviso
RuntimeWarning: invalid value encountered in scalar dividesugere que houve uma tentativa de divisão por zero durante o cálculo da similaridade Jaccard na funçãocalc_jaccard.Neste caso, parece que o denominador
unionpode ser zero. O valor NaN (Not a Number) é produzido quando você tenta fazer uma operação matemática que não tem um valor numérico bem definido, como dividir zero por zero.Para resolver este problema, precisamos verificar se
unioné zero antes de fazer a divisão. Se for zero, podemos simplesmente retornar0para a similaridade Jaccard, já que isso indicaria que não há elementos em comum nas impressões digitais.Vamos ajustar a função
calc_jaccardpara lidar com essa situação:def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union if union == 0: return 0 # Nenhuma sobreposição entre os conjuntos; retornar similaridade zero. jac_sim = inter / union return jac_simAlém disso, é importante garantir que os métodos de geração de impressão digital (
generate_fingerprint) e a criação do objeto MinHash estejam corretos e consistente com as características dos sinais de áudio que você está analisando. Se o número de permutações utilizado no MinHash (num_perm=512) ou os parâmetros do espectrograma e detecção de picos forem inadequados, eles podem não capturar adequadamente as características do áudio para fazer um match eficaz.Certifique-se de que os espectrogramas estão sendo gerados corretamente e que os picos estão sendo extraídos de forma apropriada. Se tiver dúvidas sobre a geração do espectrograma ou a extração de picos para a criação da impressão digital, reveja esses métodos e o tratamento dos dados.
Com a correção acima, a função
calc_jaccarddeve agora lidar adequadamente com o caso de divisão por zero e retornar um resultado válido de similaridade Jaccard. - User
a.wav and b.wav are different Jaccard similarity = 0 mas da forma que isto está não é possível aferir a similaridade dos ficheiros eles até são bastante semelhantes e dá zero
- Assistant
A similaridade Jaccard retornando zero quando você acredita que os arquivos são bastante semelhantes sugere que pode haver problemas no processo de criação das impressões digitais ou na comparação da similaridade. Aqui estão algumas etapas para investigar a situação:
-
Verifique os dados de entrada: Certifique-se de que os arquivos
a.waveb.wavsejam lidos corretamente e contenham dados de áudio válidos. Tente reproduzir os arquivos fora do script para confirmar. -
Inspeção das impressões digitais: Após a criação da impressão digital, você pode verificar se as impressões digitais não estão vazias e contêm dados suficientes para serem comparáveis.
-
Ajuste de parâmetros: Pode ser necessário ajustar os parâmetros para a geração do espectrograma e detecção de picos. Se os parâmetros para detecção de picos estiverem muito restritivos, é possível que picos importantes estejam sendo ignorados.
-
Verificação de código: Confirme se o código que cria a impressão digital está correto e consistente com os dados processados. Por exemplo, a forma como os picos são codificados e inseridos no objeto MinHash pode não ser ideal para o seu caso de uso.
-
Checagem do Funcionamento do MinHash: Confirme se o MinHash está sendo utilizado corretamente. O número de permutações (
num_perm) pode afetar a granularidade da similaridade Jaccard. -
Verificação do Método
generate_fingerprint: Esse método converte conjuntos de picos em uma sequência de bytes que é adicionada à impressão digital MinHash. Verifique se os dados que você está adicionando ao MinHash são adequados.
Aqui está um exemplo de como você pode inspecionar as impressões digitais após a geração:
def generate_fingerprint(self, fp, tp, peaks): s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: s.append(str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta))) for data in s: self.fingerprint.update(data.encode('utf8')) # Inspecione a quantidade de elementos distintos na impressão digital e a própria impressão digital print(f'Número de elementos na impressão digital para {self.songname}:', self.fingerprint.count()) # Caso queira ver a própria impressão digital, descomente a linha abaixo # print(self.fingerprint.digest())Se seguir estas etapas de inspeção e tudo parecer estar funcionando corretamente, mas a similaridade ainda retornar zero, você pode precisar reconsiderar a abordagem ou os parâmetros de geração de impressão digital. Em alguns casos, pode ser melhor consultar a documentação das bibliotecas que você está usando ou tentar uma abordagem diferente de fingerprinting que seja mais adequada ao tipo de semelhança que você está tentando detectar.
-
- User
Número de elementos na impressão digital para a.wav: 0.0 [4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295] Número de elementos na impressão digital para b.wav: 0.0 [4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295 4294967295] a.wav and b.wav are different Jaccard similarity = 0
- Assistant
O fato de o número de elementos na impressão digital ser
0.0para ambosa.waveb.wavindica que o processo de geração da impressão digital (fingerprint) não está funcionando conforme esperado. Como a impressão digital está vazia, o cálculo de similaridade Jaccard retornará zero, independentemente da similaridade real entre os arquivos de áudio.Vamos analisar possíveis causas e soluções para este problema:
-
Verificar se os picos estão sendo encontrados corretamente: Se nenhum pico for encontrado no espectrograma, a impressão digital ficará vazia. Para isso, inspecione a saída do método
find_peaks, verifique secoordinatesepeakssão não vazios. -
Parâmetros para detecção de picos: Se os parâmetros
min_peak_sepemin_peak_ampestiverem muito restritivos, é possível que estejam descartando picos que de outra forma seriam válidos. -
Encode adequado para o MinHash: O método
generate_fingerprintprecisa converter os dados dos picos para um formato que pode ser entendido e processado pelo MinHash para o cálculo da similaridade. -
Rever os parâmetros do MinHash: O parâmetro
num_perm, que define o número de permutações no MinHash, deve ser grande o suficiente para capturar as semelhanças de maneira eficaz. -
Analisar os dados de
sgram(espectrograma): Garanta que os dados do espectrograma contenham informações válidas. -
Verifique a implementação do
generate_fingerprint: Este é um método crítico porque converte os picos em identificadores únicos que compõem a impressão digital da música. Garanta que os dados estão sendo corretamente transformados para o formato que o MinHash espera.
Como a função
generate_fingerprintestá encarregada de atualizarself.fingerprintcom os dados des, é necessário verificar se o processo de construção dessa string está correto e se os dados estão sendo codificados de maneira que MinHash possa compreender. Por exemplo, veja se cada pico está sendo codificado corretamente em bytes e se estão sendo agregados de forma apropriada ao MinHash.Você também pode colocar declarações de impressão para verificar se o conteúdo de
sestá sendo corretamente produzido:def generate_fingerprint(self, fp, tp, peaks): s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: encoded_data = str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta)) s.append(encoded_data) self.fingerprint.update(encoded_data.encode('utf8')) # Check if s is empty print(f"Generated fingerprint elements for {self.songname}: {len(s)}") if len(s) == 0: print(f"No fingerprint data generated for {self.songname}. Check peak detection and encoding.")Desta forma, você pode verificar se
generate_fingerprintestá realmente gerando dados para adicionar ao MinHash (s) e se essa informação parece correta.Depois de verificar e resolver essas questões, você deve começar a ver resultados mais esperados para a similaridade entre os arquivos de áudio. Se ainda estiver tendo problemas, você pode precisar revisar em detalhes a lógica de
generate_fingerprinte a aplicabilidade dos parâmetros que está usando. -
- User
a.wav and b.wav are different Jaccard similarity = 0
- Assistant
Parece que a impressão digital ainda está vazia, o que significa que há um problema mais fundamental no processamento do espectrograma ou na geração das impressões digitais. Para solucionar esse problema, sigamos um processo de verificação passo a passo:
-
Verificar os espectrogramas: Certifique-se de que o espectrograma está sendo gerado e possui dados significativos. Para isso, você pode imprimir o espectrograma ou visualizá-lo usando uma biblioteca gráfica como
matplotlib. -
Ajustar os parâmetros de detecção de picos: Certifique-se de que os valores
min_peak_sepemin_peak_ampnão estejam muito altos, o que poderia impedir a identificação de picos válidos. -
Assegurar que os picos estão sendo encontrados: Verifique se a função
find_peaksestá retornando valores e examine a saída. Valide se as coordenadas dos picos estão fazendo sentido com a visualização do espectrograma. -
Codificação correta dos picos: Assegure-se de que os picos encontrados estejam sendo corretamente convertidos em uma forma aceitável pelo MinHash. A função
generate_fingerprintdeve criar uma sequência de bytes significativa a partir dos picos detectados. -
Revisar a criação do objeto MinHash: Confirme se o MinHash está sendo corretamente alimentado e se os dados são variados o suficiente para que haja alguma sobreposição nas impressões digitais entre os arquivos de áudio.
Aqui está um exemplo de como você pode verificar cada uma dessas etapas usando o código que você já tem:
def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav' # Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Verificação dos espectrogramas _, _, sgram1 = song1.generate_spectrogram(song1.channels, song1.framerate) _, _, sgram2 = song2.generate_spectrogram(song2.channels, song2.framerate) print(f"Spectrogram 1 has {np.sum(sgram1 > 0)} values above 0") print(f"Spectrogram 2 has {np.sum(sgram2 > 0)} values above 0") # Comparação das impressões digitais das músicas compare_fingerprints(song1, song2)Neste ponto, pode ser útil visualizar os espectrogramas e os picos para verificar se os parâmetros de detecção de picos estão corretos. Aqui está um exemplo de como visualizar um espectrograma e os picos usando
matplotlib:import matplotlib.pyplot as plt def visualize_spectrogram(sgram, f, t, peaks=None): plt.figure(figsize=(10, 4)) plt.pcolormesh(t, f, 10 * np.log10(sgram), shading='gouraud') plt.ylabel('Frequency [Hz]') plt.xlabel('Time [sec]') plt.colorbar(format='%+2.0f dB') if peaks is not None: fp, tp = peaks plt.scatter(tp, fp, c='red') plt.show() # Dentro do método 'main': visualize_spectrogram(sgram1, song1.f, song1.t, peaks=song1.peaks) visualize_spectrogram(sgram2, song2.f, song2.t, peaks=song2.peaks)Esses são apenas exemplos funcionais. Você precisará recuperar os valores de frequência
f, tempote picos para suas próprias variáveis específicas dentro do objeto AudioFP. Ajuste conforme necessário.Por fim, se você identificar que os espectrogramas estão corretos e contêm dados que fazem sentido, você precisará se concentrar na correção da detecção de picos e na codificação das impressões digitais. Se você achar que tudo parece correto mas ainda assim não obtém uma similaridade correta, pode ser necessário rever a abordagem de geração de impressões digitais ou ajustar ainda mais os parâmetros até obter os resultados esperados.
-
- User
Exception has occurred: AttributeError (note: full exception trace is shown but execution is paused at: _run_module_as_main) 'AudioFP' object has no attribute 'channels' File "C:\meu\audiofingerprints2.py", line 150, in main _, _, sgram1 = song1.generate_spectrogram(song1.channels, song1.framerate) File "C:\meu\audiofingerprints2.py", line 163, in main() File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 194, in _run_module_as_main (Current frame) return _run_code(code, main_globals, None, AttributeError: 'AudioFP' object has no attribute 'channels'
import numpy as np import pydub import scipy.signal import skimage.feature import datasketch import os import pickle from pydub import AudioSegment import matplotlib.pyplot as plt
Parameters for tuning the Audiofingerprinting algorithm
Parameters used in generating spectrogram
#---------------------------------- nperseg = 16 * 256 # window size overlap_ratio = 0.4 # degree of overlap, larger number->more overlap, denser fingerprint #----------------------------------
Parameters used in finding local peaks
#------------------------- min_peak_sep = 15 # larger sep -> less peaks -> less accuracy, but faster fingerprinting min_peak_amp = 10 # larger min amp -> less peaks -> less accuracy, but faster fingerprinting #-------------------------
Parameters used in generating fingerprint
#------------------------------ peak_connectivity = 15 # Number of neighboring peaks to use as target for each anchor peak_time_delta_min = 0 # Minimum spacing in time between peaks for anchor and target peak_time_delta_max = 200 # Maximum spacing in time between peaks for anchor and target #------------------------------
This class defines an AudioFP object that stores the name a song and its fingerprint.
It also contains all the functions used to read/record audio, generate spectrogram, find peaks,
generate fingerprint, and saving the object to file.
class AudioFP(): def init(self, filename=None): #def init(self, filename=None): self.songname = os.path.basename(filename) if filename else '' self.fingerprint = datasketch.MinHash(num_perm=512) self.framerate = [] if filename: channels, self.framerate = self.read_audiofile(filename) f, t, sgram = self.generate_spectrogram(channels, self.framerate) fp, tp, peaks = self.find_peaks(f, t, sgram) self.generate_fingerprint(fp, tp, peaks)
def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate def generate_spectrogram(self, audiosignal, framerate): fs = framerate # sampling rate window = scipy.signal.get_window('hamming', nperseg) # window function noverlap = int(overlap_ratio * nperseg) # number of points to overlap # generate spectrogram from consecutive FFTs over the defined window f, t, sgram = scipy.signal.spectrogram(audiosignal, fs, window, nperseg, noverlap, mode='magnitude') sgram = 20 * np.log10(sgram) # transmorm linear output to dB scale sgram[sgram == -np.inf] = 0 # replace infs with zeros return f, t, sgram def find_peaks(self, f, t, sgram): # Ajustar conforme a sua definição anterior de parâmetros coordinates = skimage.feature.peak_local_max(sgram, min_distance=min_peak_sep, threshold_abs=min_peak_amp) peaks = sgram[coordinates[:, 0], coordinates[:, 1]] tp = t[coordinates[:, 1]] fp = f[coordinates[:, 0]] return fp, tp, peaks def generate_fingerprint(self, fp, tp, peaks): s = [] # Empty list to contain data for fingerprint for i in range(len(peaks)): for j in range(1, peak_connectivity): if (i + j) < len(peaks): f1 = fp[i] f2 = fp[i + j] t1 = tp[i] t2 = tp[i + j] t_delta = t2 - t1 if t_delta >= peak_time_delta_min and t_delta <= peak_time_delta_max: encoded_data = str(np.rint(f1)) + str(np.rint(f2)) + str(np.rint(t_delta)) s.append(encoded_data) self.fingerprint.update(encoded_data.encode('utf8')) # Check if s is empty print(f"Generated fingerprint elements for {self.songname}: {len(s)}") if len(s) == 0: print(f"No fingerprint data generated for {self.songname}. Check peak detection and encoding.") # Compare fingerprints of two songsdef compare_fingerprints(s1, s2): jac_sim = calc_jaccard(s1, s2) if jac_sim >= 0.9: print('{} and {} are identical!'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.1 and jac_sim < 0.9: print('{} and {} are quite similar'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) elif jac_sim >= 0.05 and jac_sim < 0.1: print('{} and {} might have some similarity'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim) else: print('{} and {} are different'.format(s1.songname, s2.songname)) print('Jaccard similarity = ', jac_sim)
def calc_jaccard(s1, s2): s1_size = s1.fingerprint.count() s2_size = s2.fingerprint.count() union_s = s1.fingerprint.copy() union_s.merge(s2.fingerprint) union = union_s.count() inter = s1_size + s2_size - union if union == 0: return 0 # Nenhuma sobreposição entre os conjuntos; retornar similaridade zero.
jac_sim = inter / union return jac_simdef visualize_spectrogram(sgram, f, t, peaks=None): plt.figure(figsize=(10, 4)) plt.pcolormesh(t, f, 10 * np.log10(sgram), shading='gouraud') plt.ylabel('Frequency [Hz]') plt.xlabel('Time [sec]') plt.colorbar(format='%+2.0f dB')
if peaks is not None: fp, tp = peaks plt.scatter(tp, fp, c='red') plt.show()def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav'
# Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Verificação dos espectrogramas _, _, sgram1 = song1.generate_spectrogram(song1.channels, song1.framerate) _, _, sgram2 = song2.generate_spectrogram(song2.channels, song2.framerate) print(f"Spectrogram 1 has {np.sum(sgram1 > 0)} values above 0") print(f"Spectrogram 2 has {np.sum(sgram2 > 0)} values above 0") # Dentro do método 'main': visualize_spectrogram(sgram1, song1.f, song1.t, peaks=song1.peaks) visualize_spectrogram(sgram2, song2.f, song2.t, peaks=song2.peaks) # Comparando as impressões digitais das músicas compare_fingerprints(song1, song2)if name== "main": main()
- Assistant
O erro
AttributeError: 'AudioFP' object has no attribute 'channels'indica que estamos tentando acessar um atributo que não existe no objetoAudioFP. O código que foi fornecido tenta acessarsong1.channelsesong2.channels, mas tais atributos não foram definidos na classeAudioFP. Da mesma forma,song1.peaks,song1.fesong1.ttambém parecem ser atributos não definidos, pois não constam no código que você forneceu.Vamos corrigir esses problemas. Primeiro, certifique-se de que todos os dados necessários para gerar o espectrograma e identificar os picos estejam sendo armazenados na classe
AudioFPapós serem calculados, de forma que possam ser usados posteriormente:class AudioFP(): def __init__(self, filename=None): self.songname = os.path.basename(filename) if filename else '' self.fingerprint = datasketch.MinHash(num_perm=512) # Adicione os seguintes atributos: self.channels = None # Para armazenar os dados de áudio de canais agregados self.f = None # Frequências do espectrograma self.t = None # Tempos do espectrograma self.sgram = None # Dados do espectrograma self.peaks = None # Picos encontrados no espectrograma if filename: self.channels, self.framerate = self.read_audiofile(filename) self.f, self.t, self.sgram = self.generate_spectrogram(self.channels, self.framerate) fp, tp, self.peaks = self.find_peaks(self.f, self.t, self.sgram) self.generate_fingerprint(fp, tp, self.peaks) # Resto da classe com os métodos existentes...Agora, com esses atributos definidos, você pode modificar a função
main()da seguinte forma:def main(): # Caminhos para os arquivos de áudio file1_path = r'c:\meu\a.wav' file2_path = r'c:\meu\b.wav' # Criação dos objetos AudioFP para os arquivos de áudio song1 = AudioFP(filename=file1_path) song2 = AudioFP(filename=file2_path) # Verificação dos espectrogramas e picos print(f"Spectrogram for {song1.songname} has {np.sum(song1.sgram > 0)} values above 0") print(f"Spectrogram for {song2.songname} has {np.sum(song2.sgram > 0)} values above 0") # A função visualize_spectrogram utilizará diretamente os atributos corrigidos: visualize_spectrogram(song1.sgram, song1.f, song1.t, peaks=song1.peaks) visualize_spectrogram(song2.sgram, song2.f, song2.t, peaks=song2.peaks) # Comparação das impressões digitais das músicas compare_fingerprints(song1, song2)Com essas modificações, você deverá eliminar o erro do atributo inexistente. Além disso, a função
visualize_spectrogramagora usa diretamente os atributos da classeAudioFPque foram previamente definidos e calculados.Execute o código modificado para ver se as impressões digitais são adequadas e a comparação de similaridade está funcionando como esperado.
Lembre-se que, de acordo com suas perguntas anteriores, se
generate_fingerprintnão está funcionando corretamente, e não está adicionando elementos ao MinHash, você ainda terá uma similaridade Jaccard de zero. Garanta que a funçãogenerate_fingerprintesteja realmente adicionando itens ao MinHash e que a conversão dos picos para strings e suas subsequente codificação para bytes esteja sendo feita corretamente. - User
Exception has occurred: TypeError (note: full exception trace is shown but execution is paused at: _run_module_as_main) '>' not supported between instances of 'NoneType' and 'int' File "C:\meu\audiofingerprints3.py", line 157, in main print(f"Spectrogram for {song1.songname} has {np.sum(song1.sgram > 0)} values above 0") File "C:\meu\audiofingerprints3.py", line 169, in main() File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\vania\AppData\Local\Programs\Python\Python38\Lib\runpy.py", line 194, in _run_module_as_main (Current frame) return _run_code(code, main_globals, None, TypeError: '>' not supported between instances of 'NoneType' and 'int'
- Assistant
O erro
TypeError: '>' not supported between instances of 'NoneType' and 'int'é gerado porque o atributosgraméNone. Isso indica que a funçãogenerate_spectrogramnão retornou corretamente o espectrograma, o que sugere que essa função falhou antes de completar sua execução ou nem mesmo foi chamada.Nós podemos adicionar verificações de segurança para garantir que os dados estão presentes antes de tentar usar os espectrogramas. Além disso, devemos conferir por que
generate_spectrogramnão está retornando os dados esperados.Aqui estão algumas etapas para solucionar o problema:
-
Certifique-se de que
generate_spectrogramesteja definida corretamente e seja chamada no__init__da classeAudioFP. -
Verifique se na função
read_audiofile, os dados desongdataeframerateestão sendo retornados corretamente. -
Adicione verificações de
Noneantes de tentar operações que assumem que a variável contém um array ou qualquer outro valor não nulo.
Aqui está um exemplo revisado de como garantir que
generate_spectrogrameread_audiofileestejam funcionando corretamente:class AudioFP(): # ...todas as outras definições permanecem as mesmas... def read_audiofile(self, filename): # Assumindo que o formato é .wav audiofile = AudioSegment.from_wav(filename) # Convertendo para um único canal (mono) se necessário if audiofile.channels > 1: audiofile = audiofile.set_channels(1) songdata = np.array(audiofile.get_array_of_samples()) framerate = audiofile.frame_rate return songdata, framerate def generate_spectrogram(self, audiosignal, framerate): # ...código anterior permanece o mesmo... # Certifique-se de que a transformação do sgram para dB não produza valores inválidos sgram = np.where(sgram > 0, 20 * np.log10(sgram), 0) return f, t, sgram # E na função main(): def main(): # ...código anterior permanece o mesmo... if song1.sgram is not None: print(f"Spectrogram for {song1.songname} has {np.sum(song1.sgram > 0)} values above 0") else: print(f"Spectrogram for {song1.songname} is None, check generation process") if song2.sgram is not None: print(f"Spectrogram for {song2.songname} has {np.sum(song2.sgram > 0)} values above 0") else: print(f"Spectrogram for {song2.songname} is None, check generation process") # ...resto do código permanece o mesmo...Essas verificações informarão se você tem dados válidos antes de prosseguir e ajudarão a identificar em que ponto do processamento algo pode estar dando errado.
É essencial revisar se os caminhos dos arquivos de áudio estão corretos e se os mesmos são acessíveis e contêm dados válidos. A função
read_audiofilee a geração do espectrograma assumem que você está passando um caminho válido para um arquivo.wav. Se o arquivo não puder ser lido ou estiver corrompido, você poderá ter falta de dados (None) nessas etapas. Verifique também senpersegeoverlap_ratiosão escolhidos apropriados para o tamanho e tipo do seu sinal de áudio. -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.