behebe alle fehler und probleme und nenn mir dann das vollständige skript: import…
- User
behebe alle fehler und probleme und nenn mir dann das vollständige skript: import tkinter as tk from tkinter import filedialog, messagebox, ttk, simpledialog from tkinter.ttk import Progressbar from TTS.api import TTS import simpleaudio as sa import tempfile import os import shutil from pathlib import Path import librosa import soundfile as sf import requests import threading from vosk import Model as ASRModel, KaldiRecognizer import json import wave from pydub import AudioSegment from moviepy.editor import VideoFileClip, AudioFileClip import mimetypes from deep_translator import GoogleTranslator import zipfile import logging
Setup logging
logging.basicConfig(level=logging.ERROR, format='%(asctime)s - %(levelname)s - %(message)s')
Constants for directories and model URLs
MODELS_DIR = Path("models") SAVED_VOICES_DIR = Path("saved_voices") ASR_MODEL_URLS = { "Deutsch": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "Englisch": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", } TTS_MODEL_NAMES = { "Deutsch": "tts_models/de/thorsten/tacotron2-DCA", "Englisch": "tts_models/en/ljspeech/tacotron2-DDC", } LANGUAGE_CODES = { "Deutsch": "de", "Englisch": "en", }
ToolTip Klasse (einmal definiert)
class ToolTip: def init(self, widget, text): self.widget = widget self.text = text self.tooltip_window = None if hasattr(self.widget, "bbox"): self.widget.bind("", self.show_tooltip) self.widget.bind("", self.hide_tooltip) else: print("Das Widget unterstützt keine Tooltips.")
def show_tooltip(self, event=None): if self.tooltip_window or not self.text: return x, y, cx, cy = 0, 0, 0, 0 if hasattr(self.widget, "bbox"): bbox = self.widget.bbox("insert") if bbox: x, y, cx, cy = bbox else: x, y = self.widget.winfo_rootx() + 25, self.widget.winfo_rooty() + 20 self.tooltip_window = tw = tk.Toplevel(self.widget) tw.wm_overrideredirect(True) tw.wm_geometry(f"+{self.widget.winfo_rootx()+25}+{self.widget.winfo_rooty()+20}") label = tk.Label(tw, text=self.text, justify='left', background="#ffffe0", relief='solid', borderwidth=1, font=("Arial", "10", "normal")) label.pack(ipadx=1) def hide_tooltip(self, event=None): tw = self.tooltip_window self.tooltip_window = None if tw: tw.destroy()class Speech2SpeechApp(tk.Tk): def init(self): super().init() self.progress_var = tk.DoubleVar() self.status_var = tk.StringVar() self.title("Speech2Speech Anwendung") self.geometry("1000x700") self.style = ttk.Style(self) self.style.theme_use('clam') # Modernes Theme
self.audio_sample_paths = [] # Liste gespeicherter Stimmen self.speaker_embeddings = {} # Dictionary für Sprecher-Audiodateien self.current_embedding = None self.synthesized_audio_path = None self.current_language = tk.StringVar() self.current_language.set("Deutsch") # Standardwert self.asr_models = {} self.tts_models = {} self.language_models = { "Deutsch": { "tts_model_name": "tts_models/de/thorsten/tacotron2-DCA", "asr_model_path": MODELS_DIR / "vosk-model-small-de-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "language_code": "de", }, "Englisch": { "tts_model_name": "tts_models/en/ljspeech/tacotron2-DDC", "asr_model_path": MODELS_DIR / "vosk-model-small-en-us-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", "language_code": "en", } # Weitere Sprachen können hier hinzugefügt werden } self.file_to_process = None # Initialisierung der Datei-Variable self.create_menu() self.create_tabs() self.create_status_bar() # Initialisierung self.load_saved_voices() self.after(100, self.ensure_models) # Lade Modelle nach dem UI-Aufbau def create_menu(self): menubar = tk.Menu(self) self.config(menu=menubar) # Datei-Menü file_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Datei", menu=file_menu) file_menu.add_command(label="Datei öffnen", command=self.select_audio_video_file) file_menu.add_separator() file_menu.add_command(label="Beenden", command=self.quit) # Einstellungen-Menü settings_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Einstellungen", menu=settings_menu) settings_menu.add_command(label="Sprache ändern", command=self.change_language) # Hilfe-Menü help_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Hilfe", menu=help_menu) help_menu.add_command(label="Über", command=self.show_about) def show_about(self): messagebox.showinfo("Über", "Speech2Speech Anwendung\nVersion 1.0\nEntwickelt von Deinem Namen") def create_tabs(self): self.tabs = ttk.Notebook(self) self.tabs.pack(expand=1, fill='both') # Tab 1: Stimmenverwaltung self.tab_voices = ttk.Frame(self.tabs) self.tabs.add(self.tab_voices, text="Stimmenverwaltung") self.create_voice_tab() # Tab 2: Text Synthese self.tab_synthesize = ttk.Frame(self.tabs) self.tabs.add(self.tab_synthesize, text="Text Synthese") self.create_synthesize_tab() # Tab 3: Stimmtausch self.tab_replace = ttk.Frame(self.tabs) self.tabs.add(self.tab_replace, text="Stimmtausch") self.create_replace_tab() # Tab 4: Einstellungen self.tab_settings = ttk.Frame(self.tabs) self.tabs.add(self.tab_settings, text="Einstellungen") self.create_settings_tab() # Tab 5: Vorschau self.tab_preview = ttk.Frame(self.tabs) self.tabs.add(self.tab_preview, text="Vorschau") self.create_preview_tab() def create_voice_tab(self): # Stimmenverwaltung UI frame = ttk.LabelFrame(self.tab_voices, text="Verfügbare Stimmen") frame.pack(fill='both', expand=True, padx=10, pady=10) # Listbox für Stimmen self.voice_listbox = tk.Listbox(frame, height=20) self.voice_listbox.pack(side=tk.LEFT, fill='both', expand=True, padx=(10, 5), pady=10) # Scrollbar für Listbox scrollbar = ttk.Scrollbar(frame, orient="vertical", command=self.voice_listbox.yview) scrollbar.pack(side=tk.LEFT, fill='y', pady=10) self.voice_listbox.config(yscrollcommand=scrollbar.set) # Buttons für Laden, Löschen und Trainieren button_frame = ttk.Frame(frame) button_frame.pack(side=tk.LEFT, fill='y', padx=5, pady=10) btn_load = ttk.Button(button_frame, text="Laden", command=self.load_voice) btn_load.pack(fill='x', pady=5) ToolTip(btn_load, "Lädt die ausgewählte Stimme.") btn_delete = ttk.Button(button_frame, text="Löschen", command=self.delete_voice) btn_delete.pack(fill='x', pady=5) ToolTip(btn_delete, "Löscht die ausgewählte Stimme.") btn_train = ttk.Button(button_frame, text="Neue Stimme trainieren", command=self.train_new_voice) btn_train.pack(fill='x', pady=5) ToolTip(btn_train, "Trainiert eine neue Stimme mit ausgewählten Audiodateien.") def create_synthesize_tab(self): # Text Synthese UI frame = ttk.LabelFrame(self.tab_synthesize, text="Text Synthese") frame.pack(fill='both', padx=10, pady=10, expand=True) # Text-Eingabe lbl_text = ttk.Label(frame, text="Geben Sie den zu synthetisierenden Text ein:") lbl_text.pack(pady=5, anchor='w', padx=10) self.text_entry = tk.Text(frame, width=80, height=10) self.text_entry.pack(pady=5, padx=10) # Beispieltexte example_frame = ttk.Frame(frame) example_frame.pack(pady=5, padx=10, anchor='w') lbl_example = ttk.Label(example_frame, text="Beispieltexte:") lbl_example.pack(side=tk.LEFT, padx=5) btn_example1 = ttk.Button(example_frame, text="Beispiel 1", command=lambda: self.insert_example_text(1)) btn_example1.pack(side=tk.LEFT, padx=2) ToolTip(btn_example1, "Fügt Beispieltext 1 in das Textfeld ein.") btn_example2 = ttk.Button(example_frame, text="Beispiel 2", command=lambda: self.insert_example_text(2)) btn_example2.pack(side=tk.LEFT, padx=2) ToolTip(btn_example2, "Fügt Beispieltext 2 in das Textfeld ein.") # Rate und Pitch Einstellungen settings_frame = ttk.Frame(frame) settings_frame.pack(pady=10, padx=10, anchor='w') lbl_rate = ttk.Label(settings_frame, text="Sprechgeschwindigkeit:") lbl_rate.grid(row=0, column=0, padx=5, pady=5, sticky='w') self.rate_var = tk.DoubleVar(value=1.0) rate_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.rate_var, orient='horizontal') rate_scale.grid(row=0, column=1, padx=5, pady=5, sticky='ew') ToolTip(rate_scale, "Stellt die Sprechgeschwindigkeit ein.") lbl_pitch = ttk.Label(settings_frame, text="Tonhöhe:") lbl_pitch.grid(row=1, column=0, padx=5, pady=5, sticky='w') self.pitch_var = tk.DoubleVar(value=1.0) pitch_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.pitch_var, orient='horizontal') pitch_scale.grid(row=1, column=1, padx=5, pady=5, sticky='ew') ToolTip(pitch_scale, "Stellt die Tonhöhe ein.") settings_frame.columnconfigure(1, weight=1) # Synthese-Button btn_synthesize = ttk.Button(frame, text="Synthetisieren", command=self.synthesize_voice) btn_synthesize.pack(pady=10, padx=10, anchor='e') ToolTip(btn_synthesize, "Synthesiert den eingegebenen Text mit der ausgewählten Stimme.") def create_replace_tab(self): # Stimmtausch UI frame = ttk.LabelFrame(self.tab_replace, text="Stimmtausch in Dateien") frame.pack(fill='both', padx=10, pady=10, expand=True) # Datei auswählen btn_select_file = ttk.Button(frame, text="Audio-/Videodatei auswählen", command=self.select_audio_video_file) btn_select_file.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_file, "Wählen Sie die Audio- oder Videodatei aus, in der die Stimme ersetzt werden soll.") # Übersetzungsoption self.translate_var = tk.BooleanVar() chk_translate = ttk.Checkbutton(frame, text="Englische Sprache ins Deutsche übersetzen", variable=self.translate_var) chk_translate.pack(pady=5, padx=10, anchor='w') ToolTip(chk_translate, "Falls aktiviert, wird englischer Text ins Deutsche übersetzt.") # Stimme ersetzen Button self.btn_replace = ttk.Button(frame, text="Stimme in Datei ersetzen", command=self.replace_voice_in_file) self.btn_replace.pack(pady=5, padx=10, anchor='w') ToolTip(self.btn_replace, "Ersetzt die Stimme in der ausgewählten Datei durch die aktuell geladene Stimme.") def create_settings_tab(self): # Einstellungen UI frame = ttk.LabelFrame(self.tab_settings, text="Einstellungen") frame.pack(fill='both', padx=10, pady=10, expand=True) # Spracheinstellungen language_frame = ttk.Frame(frame) language_frame.pack(pady=5, padx=10, anchor='w') lbl_language = ttk.Label(language_frame, text="Sprache:") lbl_language.pack(side=tk.LEFT, padx=5) language_options = list(self.language_models.keys()) language_option = ttk.OptionMenu(language_frame, self.current_language, self.current_language.get(), *language_options) language_option.pack(side=tk.LEFT, padx=2) ToolTip(language_option, "Wähle die Sprache für die Textsynthese.") # Audio-Einstellungen audio_frame = ttk.Frame(frame) audio_frame.pack(pady=5, padx=10, anchor='w') lbl_audio = ttk.Label(audio_frame, text="Audioformat:") lbl_audio.pack(side=tk.LEFT, padx=5) self.audio_var = tk.StringVar() self.audio_var.set("wav") # Standardwert audio_option = ttk.OptionMenu(audio_frame, self.audio_var, "wav", "mp3") audio_option.pack(side=tk.LEFT, padx=2) ToolTip(audio_option, "Wähle das Audioformat für die Textsynthese.") # Weitere ASR-Einstellungen können hier hinzugefügt werden def create_preview_tab(self): # Vorschau UI frame = ttk.LabelFrame(self.tab_preview, text="Vorschau") frame.pack(fill='both', padx=10, pady=10, expand=True) # Auswahl der Vorschau-Audiodatei btn_select_preview = ttk.Button(frame, text="Audiodatei zur Vorschau auswählen", command=self.select_preview_file) btn_select_preview.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_preview, "Wählen Sie eine Audiodatei aus, um eine Vorschau anzuhören.") # Vorschau-Player self.preview_controls = ttk.Frame(frame) self.preview_controls.pack(pady=10) btn_play_preview = ttk.Button(self.preview_controls, text="Abspielen", command=self.play_preview) btn_play_preview.grid(row=0, column=0, padx=5) ToolTip(btn_play_preview, "Spielt die ausgewählte Audiodatei ab.") btn_stop_preview = ttk.Button(self.preview_controls, text="Stoppen", command=self.stop_preview) btn_stop_preview.grid(row=0, column=1, padx=5) ToolTip(btn_stop_preview, "Stoppt die Wiedergabe der Audiodatei.") self.preview_wave_obj = None self.preview_play_obj = None self.preview_audio_path = None def create_status_bar(self): # Statusleiste am unteren Rand status_frame = ttk.Frame(self) status_frame.pack(fill='x', side='bottom') self.progress_bar = ttk.Progressbar(status_frame, variable=self.progress_var, maximum=100) self.progress_bar.pack(fill='x', padx=10, pady=2) self.message_text = tk.Text(status_frame, height=4, state=tk.DISABLED) self.message_text.pack(fill='x', padx=10, pady=2) def insert_example_text(self, example_number): examples = { 1: "Dies ist ein Beispieltext für die Sprachsynthese.", 2: "Willkommen bei der verbesserten Speech2Speech Anwendung!" } self.text_entry.delete("1.0", tk.END) self.text_entry.insert(tk.END, examples.get(example_number, "")) def log_message(self, message): self.status_var.set(message) self.message_text.config(state=tk.NORMAL) self.message_text.insert(tk.END, message + "\n") self.message_text.see(tk.END) self.message_text.config(state=tk.DISABLED) self.update_idletasks() def ensure_models(self): # Lade TTS-Modelle und ASR-Modelle in separaten Threads threading.Thread(target=self.load_tts_models, daemon=True).start() threading.Thread(target=self.load_asr_models, daemon=True).start() def load_tts_models(self): for language, paths in self.language_models.items(): self.log_message(f"Lade TTS-Modell für {language}...") try: tts_model_name = paths["tts_model_name"] if tts_model_name: self.tts_models[language] = TTS(model_name=tts_model_name) self.log_message(f"TTS-Modell für {language} geladen.") else: self.log_message(f"Kein TTS-Modellname für {language} definiert.") except Exception as e: logging.error(f"Fehler beim Laden des TTS-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des TTS-Modells für {language}: {e}") def load_asr_models(self): for language, paths in self.language_models.items(): asr_model_path = paths["asr_model_path"] if not asr_model_path.exists(): self.download_asr_model(language, asr_model_path) else: self.log_message(f"ASR-Modell für {language} ist bereits vorhanden.") try: self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} geladen.") except Exception as e: logging.error(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message("Alle ASR-Modelle sind bereit.") def download_asr_model(self, language, asr_model_path): self.log_message(f"ASR-Modell für {language} wird heruntergeladen...") try: url = self.language_models[language]["asr_model_url"] model_zip_path = MODELS_DIR / f"asr_model_{language}.zip" MODELS_DIR.mkdir(parents=True, exist_ok=True) self.download_file(url, model_zip_path) # Entpacken des Modells with zipfile.ZipFile(model_zip_path, 'r') as zip_ref: zip_ref.extractall(MODELS_DIR) os.remove(model_zip_path) if asr_model_path.exists(): self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} erfolgreich heruntergeladen und eingerichtet.") else: raise Exception(f"ASR-Modellpfad {asr_model_path} existiert nach dem Entpacken nicht.") except Exception as e: logging.error(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") def download_file(self, url, dest_path): try: with requests.get(url, stream=True) as response: response.raise_for_status() total_size = int(response.headers.get('content-length', 0)) block_size = 1024 # 1KB wrote = 0 with open(dest_path, 'wb') as f: for data in response.iter_content(block_size): wrote += len(data) f.write(data) if total_size > 0: progress = (wrote / total_size) * 100 self.progress_var.set(progress) self.update_idletasks() if total_size != 0 and wrote != total_size: self.log_message(f"Fehler beim Herunterladen von {url}: Größe stimmt nicht überein.") raise Exception("Download unvollständig") self.progress_var.set(0) except requests.exceptions.RequestException as e: logging.error(f"Fehler beim Herunterladen der Datei {url}: {e}") self.log_message(f"Fehler beim Herunterladen der Datei {url}: {e}") raise def change_language(self): selected_language = self.current_language.get() self.log_message(f"Sprache gewechselt zu {selected_language}") # Hier können zusätzliche Aktionen hinzugefügt werden, wenn die Sprache gewechselt wird def load_saved_voices(self): SAVED_VOICES_DIR.mkdir(exist_ok=True) self.voice_listbox.delete(0, tk.END) for voice_file in SAVED_VOICES_DIR.glob("*.wav"): voice_name = voice_file.stem self.voice_listbox.insert(tk.END, voice_name) self.speaker_embeddings[voice_name] = str(voice_file) def train_new_voice(self): file_paths = filedialog.askopenfilenames( title="Wählen Sie Audiodateien für das Training aus", filetypes=[("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus")] ) if not file_paths: self.log_message("Keine Audiodateien ausgewählt.") return voice_name = simpledialog.askstring("Stimmenname", "Geben Sie einen Namen für die neue Stimme ein:") if not voice_name: self.log_message("Kein Stimmenname eingegeben.") return if voice_name in self.speaker_embeddings: self.log_message(f"Stimme '{voice_name}' existiert bereits.") messagebox.showwarning("Warnung", f"Stimme '{voice_name}' existiert bereits.") return self.log_message("Stimme wird trainiert...") self.progress_var.set(0) self.btn_replace.config(state=tk.DISABLED) self.disable_all_buttons() def training_thread(): preprocessed_files = [] try: total_files = len(file_paths) for idx, file_path in enumerate(file_paths, 1): preprocessed_path = self.preprocess_audio(file_path) if preprocessed_path: preprocessed_files.append(preprocessed_path) else: self.log_message(f"Überspringe Datei {file_path} aufgrund von Vorverarbeitungsfehlern.") self.progress_var.set((idx / (total_files * 2)) * 100) # Training auf 50% setzen self.update_idletasks() if not preprocessed_files: self.log_message("Keine gültigen Audiodateien für das Training vorhanden.") return # Kombiniere vorverarbeitete Dateien in eine Datei combined_audio = AudioSegment.empty() for preprocessed_file in preprocessed_files: audio_segment = AudioSegment.from_file(preprocessed_file) combined_audio += audio_segment # Speichere kombiniertes Audio save_path = SAVED_VOICES_DIR / f"{voice_name}.wav" combined_audio.export(str(save_path), format="wav") self.speaker_embeddings[voice_name] = str(save_path) self.voice_listbox.insert(tk.END, voice_name) self.log_message(f"Stimme '{voice_name}' wurde erfolgreich erstellt.") self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Training der Stimme: {e}") self.log_message(f"Fehler beim Training der Stimme: {e}") finally: # Temporäre Dateien löschen for preprocessed_file in preprocessed_files: try: os.remove(preprocessed_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{preprocessed_file}': {e}") self.progress_var.set(0) self.enable_all_buttons() self.btn_replace.config(state=tk.NORMAL) threading.Thread(target=training_thread, daemon=True).start() def disable_all_buttons(self): # Deaktiviert alle Buttons, wenn eine Langzeitoperation läuft for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['disabled']) def enable_all_buttons(self): # Aktiviert alle Buttons nach Abschluss einer Langzeitoperation for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['!disabled']) def load_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: try: self.current_embedding = self.speaker_embeddings[selected_voice] self.log_message(f"Stimme '{selected_voice}' wurde geladen.") except Exception as e: logging.error(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def delete_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: confirm = messagebox.askyesno("Bestätigung", f"Möchten Sie die Stimme '{selected_voice}' wirklich löschen?") if confirm: try: os.remove(self.speaker_embeddings[selected_voice]) del self.speaker_embeddings[selected_voice] self.voice_listbox.delete(tk.ACTIVE) self.log_message(f"Stimme '{selected_voice}' wurde gelöscht.") except Exception as e: logging.error(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def preprocess_audio(self, file_path): temp_audio_path = None # Initialisieren try: self.log_message(f"Vorverarbeitung der Audiodatei: {file_path}") mime_type, _ = mimetypes.guess_type(file_path) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") # Extrahieren des Audio-Teils aus der Video-Datei with VideoFileClip(file_path) as video: audio = video.audio temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(temp_audio_path, logger=None) file_path = temp_audio_path # Konvertieren und Laden der Audiodatei sound = AudioSegment.from_file(file_path) sound = sound.set_frame_rate(22050).set_channels(1) temp_processed_fd, preprocessed_path = tempfile.mkstemp(suffix=".wav") os.close(temp_processed_fd) sound.export(preprocessed_path, format="wav") y, sr = librosa.load(preprocessed_path, sr=22050, mono=True) # Überprüfen der Länge if len(y) < sr * 1: # Mindestens 1 Sekunde self.log_message(f"Audiodatei '{file_path}' ist zu kurz. Mindestens 1 Sekunde erforderlich.") os.remove(preprocessed_path) return None # Normalisierung y = librosa.util.normalize(y) # Speichern der normalisierten Audiodaten sf.write(preprocessed_path, y, sr) self.log_message(f"Vorverarbeitung der Audiodatei '{file_path}' abgeschlossen.") return preprocessed_path except Exception as e: logging.error(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") self.log_message(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") return None finally: # Temporäre Dateien löschen if temp_audio_path and os.path.exists(temp_audio_path): try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def synthesize_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return text_to_speak = self.text_entry.get("1.0", tk.END).strip() if not text_to_speak: self.log_message("Bitte geben Sie einen Text ein.") messagebox.showwarning("Warnung", "Kein Text eingegeben.") return # Eingabe bereinigen import re text_to_speak = re.sub(r'[^\w\s.,!?]', '', text_to_speak) self.log_message("Synthese läuft...") self.progress_var.set(0) self.disable_all_buttons() def synthesis_thread(): try: tts_model = self.tts_models.get(self.current_language.get()) if not tts_model: self.log_message("TTS-Modell für die ausgewählte Sprache ist nicht geladen.") messagebox.showerror("Fehler", "TTS-Modell für die ausgewählte Sprache ist nicht verfügbar.") return language_code = self.language_models[self.current_language.get()]["language_code"] # TTS-Einstellungen berücksichtigen rate = self.rate_var.get() pitch = self.pitch_var.get() # Hier muss das TTS-Modell die Rate und Pitch unterstützen # Dies hängt von der verwendeten TTS-Bibliothek ab. Annahme hier: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text_to_speak, speaker_wav=self.current_embedding, language=language_code, file_path=f.name, speed=rate, pitch=pitch ) self.synthesized_audio_path = f.name wave_obj = sa.WaveObject.from_wave_file(self.synthesized_audio_path) play_obj = wave_obj.play() self.preview_wave_obj = wave_obj self.preview_play_obj = play_obj play_obj.wait_done() self.log_message("Synthese abgeschlossen und abgespielt.") self.progress_var.set(100) # Vorschau-Tab aktualisieren self.update_preview(self.synthesized_audio_path) except Exception as e: logging.error(f"Fehler bei der Sprachsynthese: {e}") self.log_message(f"Fehler bei der Sprachsynthese: {e}") messagebox.showerror("Fehler", f"Fehler bei der Sprachsynthese:\n{e}") self.progress_var.set(0) finally: if self.synthesized_audio_path and os.path.exists(self.synthesized_audio_path): os.remove(self.synthesized_audio_path) self.progress_var.set(0) self.enable_all_buttons() threading.Thread(target=synthesis_thread, daemon=True).start() def update_preview(self, audio_path): self.preview_audio_path = audio_path self.log_message(f"Vorschau-Audiodatei aktualisiert: {audio_path}") def select_preview_file(self): file_path = filedialog.askopenfilename( title="Wählen Sie eine Audiodatei zur Vorschau aus", filetypes=[ ("WAV Dateien", "*.wav"), ("MP3 Dateien", "*.mp3"), ("Alle Dateien", "*.*") ] ) if file_path: self.preview_audio_path = file_path self.log_message(f"Vorschau-Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Vorschau-Datei ausgewählt.") def play_preview(self): if not self.preview_audio_path: self.log_message("Keine Vorschau-Datei ausgewählt.") messagebox.showwarning("Warnung", "Keine Datei zur Vorschau ausgewählt.") return try: wave_obj = sa.WaveObject.from_wave_file(self.preview_audio_path) play_obj = wave_obj.play() self.preview_play_obj = play_obj self.log_message("Vorschau abgespielt.") except Exception as e: logging.error(f"Fehler beim Abspielen der Vorschau: {e}") self.log_message(f"Fehler beim Abspielen der Vorschau: {e}") messagebox.showerror("Fehler", f"Fehler beim Abspielen der Vorschau:\n{e}") def stop_preview(self): if self.preview_play_obj and self.preview_play_obj.is_playing(): self.preview_play_obj.stop() self.log_message("Vorschau-Wiedergabe gestoppt.") else: self.log_message("Keine laufende Vorschau-Wiedergabe.") def select_audio_video_file(self): file_path = filedialog.askopenfilename( title="Öffne Audio/Video Datei", filetypes=[ ("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus"), ("Video Dateien", "*.mp4 *.avi *.mov *.mkv"), ("Alle Dateien", "*.*") ] ) if file_path: self.file_to_process = file_path self.log_message(f"Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Datei ausgewählt.") def replace_voice_in_file(self): if not self.file_to_process: self.log_message("Bitte wählen Sie zuerst eine Datei aus.") messagebox.showwarning("Warnung", "Keine Datei ausgewählt.") return selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return if self.current_embedding is None: self.log_message("Keine gültige Stimme geladen.") messagebox.showerror("Fehler", "Keine gültige Stimme geladen.") return self.log_message("Stimmtausch läuft...") self.progress_var.set(0) self.disable_all_buttons() def replace_thread(): temp_files = [] try: total_steps = 8 # Angepasste Anzahl der Schritte current_step = 0 # Audio extrahieren (falls Video) file_ext = os.path.splitext(self.file_to_process)[1].lower() mime_type, _ = mimetypes.guess_type(self.file_to_process) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") with VideoFileClip(self.file_to_process) as video: audio = video.audio temp_audio_fd, audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(audio_path, logger=None) temp_files.append(audio_path) is_video = True else: audio_path = self.file_to_process is_video = False current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Spracherkennung (ASR) self.log_message("Spracherkennung läuft...") language = self.detect_language(audio_path) language_code = self.language_models[language]["language_code"] asr_model = self.asr_models.get(language) tts_model = self.tts_models.get(language) if not asr_model or not tts_model: self.log_message(f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") messagebox.showerror("Fehler", f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") return segments = self.transcribe_audio(audio_path, asr_model) if not segments: raise Exception("Keine Sprache im Audio erkannt.") current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Übersetzung ins Deutsche (falls ausgewählt) if self.translate_var.get() and language == "Englisch": self.log_message("Übersetzung läuft...") try: # Text sammeln text = ' '.join([seg['word'] for seg in segments]) translated_text = GoogleTranslator(source='en', target='de').translate(text) translated_words = translated_text.split() # Übersetzte Wörter den Segmenten zuweisen for idx, seg in enumerate(segments): if idx < len(translated_words): seg['word'] = translated_words[idx] except Exception as e: self.log_message(f"Fehler bei der Übersetzung: {e}") # Fortfahren ohne Übersetzung current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Generiere synthetisierte Audios für jedes Segment self.log_message("Synthese der neuen Stimme läuft...") synthesized_segments = [] for idx, segment in enumerate(segments): text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) temp_files.append(f.name) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) temp_files.append(temp_silence_path) # Fortschritt aktualisieren self.progress_var.set((current_step + (idx / len(segments))) / total_steps * 100) self.update_idletasks() current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Zusammensetzen der Audios self.log_message("Zusammenfügen der Audiodateien...") combined = AudioSegment.silent(duration=int(segments[-1]['end'] * 1000)) for segment in synthesized_segments: audio = AudioSegment.from_file(segment['audio_path']) start_ms = int(segment['start'] * 1000) combined = combined.overlay(audio, position=start_ms) output_audio_fd, output_audio_path = tempfile.mkstemp(suffix=".wav") os.close(output_audio_fd) combined.export(output_audio_path, format="wav") temp_files.append(output_audio_path) current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() if is_video: # Neues Video mit ersetzter Audiospur erstellen self.log_message("Erstelle neues Video mit ersetzter Audiospur...") with VideoFileClip(self.file_to_process) as video: new_video = video.set_audio(AudioFileClip(output_audio_path)) save_path = filedialog.asksaveasfilename( defaultextension=".mp4", filetypes=[("MP4 Datei", "*.mp4")], title="Speichern Sie die neue Videodatei" ) if save_path: new_video.write_videofile(save_path, logger=None) self.log_message(f"Neues Video gespeichert unter: {save_path}") else: # Neues Audio speichern self.log_message("Speichere die neue Audiodatei...") save_path = filedialog.asksaveasfilename( defaultextension=".wav", filetypes=[("WAV Datei", "*.wav")], title="Speichern Sie die neue Audiodatei" ) if save_path: shutil.move(output_audio_path, save_path) temp_files.remove(output_audio_path) # Bereits verschoben self.log_message(f"Neue Audiodatei gespeichert unter: {save_path}") self.log_message("Stimmtausch abgeschlossen.") self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Stimmtausch: {e}") self.log_message(f"Fehler beim Stimmtausch: {e}") messagebox.showerror("Fehler", f"Es ist ein Fehler aufgetreten:\n{str(e)}") self.progress_var.set(0) finally: # Temporäre Dateien löschen for temp_file in temp_files: if os.path.exists(temp_file): try: os.remove(temp_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_file}': {e}") self.enable_all_buttons() threading.Thread(target=replace_thread, daemon=True).start() def detect_language(self, audio_path): try: self.log_message("Erkenne Sprache der Audiodatei...") with wave.open(audio_path, "rb") as wf: if wf.getnchannels() != 1 or wf.getsampwidth() != 2: self.log_message("Konvertiere Audiodatei in Mono und 16-Bit...") sound = AudioSegment.from_file(audio_path) sound = sound.set_channels(1).set_sample_width(2) temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) sound.export(temp_audio_path, format="wav") else: temp_audio_path = audio_path with wave.open(temp_audio_path, "rb") as wf_processed: # Größeren Abschnitt lesen (z.B. 10 Sekunden) frames = wf_processed.getnframes() rate = wf_processed.getframerate() duration = frames / float(rate) if duration > 10: frames_to_read = int(rate * 10) else: frames_to_read = frames data = wf_processed.readframes(frames_to_read) # Initialize recognizers rec_de = KaldiRecognizer(self.asr_models["Deutsch"], rate) rec_en = KaldiRecognizer(self.asr_models["Englisch"], rate) rec_de.SetWords(True) rec_en.SetWords(True) rec_de.AcceptWaveform(data) result_de = json.loads(rec_de.Result()) rec_en.AcceptWaveform(data) result_en = json.loads(rec_en.Result()) score_de = len(result_de.get('text', '').split()) score_en = len(result_en.get('text', '').split()) # Sprache mit dem höheren Score auswählen if score_de > score_en: self.log_message("Sprache Deutsch erkannt.") return "Deutsch" elif score_en > score_de: self.log_message("Sprache Englisch erkannt.") return "Englisch" else: self.log_message("Sprache konnte nicht eindeutig erkannt werden, verwende Standardsprache.") return self.current_language.get() except Exception as e: logging.error(f"Fehler bei der Sprachenerkennung: {e}") self.log_message(f"Fehler bei der Sprachenerkennung: {e}") return self.current_language.get() finally: # Temporäre Dateien löschen if 'temp_audio_path' in locals() and temp_audio_path != audio_path: try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def transcribe_audio(self, audio_path, asr_model): try: with wave.open(audio_path, "rb") as wf: rec = KaldiRecognizer(asr_model, wf.getframerate()) rec.SetWords(True) results = [] while True: data = wf.readframes(4000) if len(data) == 0: break if rec.AcceptWaveform(data): part_result = json.loads(rec.Result()) if 'result' in part_result: results.extend(part_result['result']) final_result = json.loads(rec.FinalResult()) if 'result' in final_result: results.extend(final_result['result']) # Segmente extrahieren segments = [] for word_info in results: word = word_info['word'] start = word_info['start'] end = word_info['end'] segments.append({'word': word, 'start': start, 'end': end}) return segments except Exception as e: logging.error(f"Fehler bei der Transkription: {e}") self.log_message(f"Fehler bei der Transkription: {e}") return [] def synthesize_segments(self, segments, tts_model, language_code): synthesized_segments = [] for segment in segments: text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) return synthesized_segments def synthesize_voice_improved(self): # Platzhalter für weitere Verbesserungen pass # Weitere Implementierungen können hier hinzugefügt werdenif name == "main": app = Speech2SpeechApp() app.mainloop()
- Assistant
Hier ist das korrigierte vollständige Skript für Deine Speech2Speech Anwendung. Ich habe mehrere Fehler und Probleme behoben, darunter die korrekte Nutzung der
TTS-Bibliothek, das Verwalten temporärer Dateien sowie einige Verbesserungen in der Fehlerbehandlung und der Benutzeroberfläche.Verbesserungen und Korrekturen:
-
TTS-Bibliothek Anpassungen:
- Entfernt ungültige Parameter
speedundpitchin dentts_to_fileAufrufen, da diese möglicherweise nicht direkt von derTTS-Bibliothek unterstützt werden. - Nach der Synthese wird die Audio-Datei nicht mehr sofort gelöscht, um die Vorschau zu ermöglichen.
- Entfernt ungültige Parameter
-
Temporäre Dateien Verwaltung:
- Temporäre Dateien werden jetzt nur dann gelöscht, wenn sie nach der Nutzung nicht mehr benötigt werden.
- Die
synthesized_audio_pathwird beibehalten, um die Vorschau zu ermöglichen.
-
Thread-Sicherheit und GUI-Updates:
- Verwendung von
queue.Queuefür sichere Kommunikation zwischen Threads und der GUI, um mögliche Race Conditions zu vermeiden.
- Verwendung von
-
Fehlerbehandlung:
- Verbesserte Fehlermeldungen und Logging für bessere Diagnose.
- Sicherstellung, dass alle temporären Dateien auch bei Fehlern ordnungsgemäß gelöscht werden.
-
Sonstige Korrekturen:
- Verbesserung der Sprachmodelldownload-Funktion, um sicherzustellen, dass Modelle korrekt entpackt werden.
- Anpassung der
train_new_voiceMethode zur Vorbereitung der Stimme-Embeddings.
Vollständiges Korrigiertes Skript:
import tkinter as tk from tkinter import filedialog, messagebox, ttk, simpledialog from tkinter.ttk import Progressbar from TTS.api import TTS import simpleaudio as sa import tempfile import os import shutil from pathlib import Path import librosa import soundfile as sf import requests import threading from vosk import Model as ASRModel, KaldiRecognizer import json import wave from pydub import AudioSegment from moviepy.editor import VideoFileClip, AudioFileClip import mimetypes from deep_translator import GoogleTranslator import zipfile import logging import queue # Setup logging logging.basicConfig(level=logging.ERROR, format='%(asctime)s - %(levelname)s - %(message)s') # Constants for directories and model URLs MODELS_DIR = Path("models") SAVED_VOICES_DIR = Path("saved_voices") ASR_MODEL_URLS = { "Deutsch": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "Englisch": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", } TTS_MODEL_NAMES = { "Deutsch": "tts_models/de/thorsten/tacotron2-DCA", "Englisch": "tts_models/en/ljspeech/tacotron2-DDC", } LANGUAGE_CODES = { "Deutsch": "de", "Englisch": "en", } # ToolTip Klasse (einmal definiert) class ToolTip: def __init__(self, widget, text): self.widget = widget self.text = text self.tooltip_window = None if hasattr(self.widget, "bbox"): self.widget.bind("<Enter>", self.show_tooltip) self.widget.bind("<Leave>", self.hide_tooltip) else: print("Das Widget unterstützt keine Tooltips.") def show_tooltip(self, event=None): if self.tooltip_window or not self.text: return x, y, cx, cy = 0, 0, 0, 0 if hasattr(self.widget, "bbox"): try: bbox = self.widget.bbox("insert") if bbox: x, y, cx, cy = bbox except: pass else: x, y = self.widget.winfo_rootx() + 25, self.widget.winfo_rooty() + 20 self.tooltip_window = tw = tk.Toplevel(self.widget) tw.wm_overrideredirect(True) tw.wm_geometry(f"+{self.widget.winfo_rootx()+25}+{self.widget.winfo_rooty()+20}") label = tk.Label(tw, text=self.text, justify='left', background="#ffffe0", relief='solid', borderwidth=1, font=("Arial", "10", "normal")) label.pack(ipadx=1) def hide_tooltip(self, event=None): tw = self.tooltip_window self.tooltip_window = None if tw: tw.destroy() class Speech2SpeechApp(tk.Tk): def __init__(self): super().__init__() self.progress_var = tk.DoubleVar() self.status_var = tk.StringVar() self.title("Speech2Speech Anwendung") self.geometry("1000x700") self.style = ttk.Style(self) self.style.theme_use('clam') # Modernes Theme self.audio_sample_paths = [] # Liste gespeicherter Stimmen self.speaker_embeddings = {} # Dictionary für Sprecher-Audiodateien self.current_embedding = None self.synthesized_audio_path = None self.current_language = tk.StringVar() self.current_language.set("Deutsch") # Standardwert self.asr_models = {} self.tts_models = {} self.language_models = { "Deutsch": { "tts_model_name": "tts_models/de/thorsten/tacotron2-DCA", "asr_model_path": MODELS_DIR / "vosk-model-small-de-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "language_code": "de", }, "Englisch": { "tts_model_name": "tts_models/en/ljspeech/tacotron2-DDC", "asr_model_path": MODELS_DIR / "vosk-model-small-en-us-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", "language_code": "en", } # Weitere Sprachen können hier hinzugefügt werden } self.file_to_process = None # Initialisierung der Datei-Variable self.create_menu() self.create_tabs() self.create_status_bar() # Initialisierung self.load_saved_voices() self.after(100, self.ensure_models) # Lade Modelle nach dem UI-Aufbau def create_menu(self): menubar = tk.Menu(self) self.config(menu=menubar) # Datei-Menü file_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Datei", menu=file_menu) file_menu.add_command(label="Datei öffnen", command=self.select_audio_video_file) file_menu.add_separator() file_menu.add_command(label="Beenden", command=self.quit) # Einstellungen-Menü settings_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Einstellungen", menu=settings_menu) settings_menu.add_command(label="Sprache ändern", command=self.change_language) # Hilfe-Menü help_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Hilfe", menu=help_menu) help_menu.add_command(label="Über", command=self.show_about) def show_about(self): messagebox.showinfo("Über", "Speech2Speech Anwendung\nVersion 1.0\nEntwickelt von Deinem Namen") def create_tabs(self): self.tabs = ttk.Notebook(self) self.tabs.pack(expand=1, fill='both') # Tab 1: Stimmenverwaltung self.tab_voices = ttk.Frame(self.tabs) self.tabs.add(self.tab_voices, text="Stimmenverwaltung") self.create_voice_tab() # Tab 2: Text Synthese self.tab_synthesize = ttk.Frame(self.tabs) self.tabs.add(self.tab_synthesize, text="Text Synthese") self.create_synthesize_tab() # Tab 3: Stimmtausch self.tab_replace = ttk.Frame(self.tabs) self.tabs.add(self.tab_replace, text="Stimmtausch") self.create_replace_tab() # Tab 4: Einstellungen self.tab_settings = ttk.Frame(self.tabs) self.tabs.add(self.tab_settings, text="Einstellungen") self.create_settings_tab() # Tab 5: Vorschau self.tab_preview = ttk.Frame(self.tabs) self.tabs.add(self.tab_preview, text="Vorschau") self.create_preview_tab() def create_voice_tab(self): # Stimmenverwaltung UI frame = ttk.LabelFrame(self.tab_voices, text="Verfügbare Stimmen") frame.pack(fill='both', expand=True, padx=10, pady=10) # Listbox für Stimmen self.voice_listbox = tk.Listbox(frame, height=20) self.voice_listbox.pack(side=tk.LEFT, fill='both', expand=True, padx=(10, 5), pady=10) # Scrollbar für Listbox scrollbar = ttk.Scrollbar(frame, orient="vertical", command=self.voice_listbox.yview) scrollbar.pack(side=tk.LEFT, fill='y', pady=10) self.voice_listbox.config(yscrollcommand=scrollbar.set) # Buttons für Laden, Löschen und Trainieren button_frame = ttk.Frame(frame) button_frame.pack(side=tk.LEFT, fill='y', padx=5, pady=10) btn_load = ttk.Button(button_frame, text="Laden", command=self.load_voice) btn_load.pack(fill='x', pady=5) ToolTip(btn_load, "Lädt die ausgewählte Stimme.") btn_delete = ttk.Button(button_frame, text="Löschen", command=self.delete_voice) btn_delete.pack(fill='x', pady=5) ToolTip(btn_delete, "Löscht die ausgewählte Stimme.") btn_train = ttk.Button(button_frame, text="Neue Stimme trainieren", command=self.train_new_voice) btn_train.pack(fill='x', pady=5) ToolTip(btn_train, "Trainiert eine neue Stimme mit ausgewählten Audiodateien.") def create_synthesize_tab(self): # Text Synthese UI frame = ttk.LabelFrame(self.tab_synthesize, text="Text Synthese") frame.pack(fill='both', padx=10, pady=10, expand=True) # Text-Eingabe lbl_text = ttk.Label(frame, text="Geben Sie den zu synthetisierenden Text ein:") lbl_text.pack(pady=5, anchor='w', padx=10) self.text_entry = tk.Text(frame, width=80, height=10) self.text_entry.pack(pady=5, padx=10) # Beispieltexte example_frame = ttk.Frame(frame) example_frame.pack(pady=5, padx=10, anchor='w') lbl_example = ttk.Label(example_frame, text="Beispieltexte:") lbl_example.pack(side=tk.LEFT, padx=5) btn_example1 = ttk.Button(example_frame, text="Beispiel 1", command=lambda: self.insert_example_text(1)) btn_example1.pack(side=tk.LEFT, padx=2) ToolTip(btn_example1, "Fügt Beispieltext 1 in das Textfeld ein.") btn_example2 = ttk.Button(example_frame, text="Beispiel 2", command=lambda: self.insert_example_text(2)) btn_example2.pack(side=tk.LEFT, padx=2) ToolTip(btn_example2, "Fügt Beispieltext 2 in das Textfeld ein.") # Rate und Pitch Einstellungen settings_frame = ttk.Frame(frame) settings_frame.pack(pady=10, padx=10, anchor='w') lbl_rate = ttk.Label(settings_frame, text="Sprechgeschwindigkeit:") lbl_rate.grid(row=0, column=0, padx=5, pady=5, sticky='w') self.rate_var = tk.DoubleVar(value=1.0) rate_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.rate_var, orient='horizontal') rate_scale.grid(row=0, column=1, padx=5, pady=5, sticky='ew') ToolTip(rate_scale, "Stellt die Sprechgeschwindigkeit ein.") lbl_pitch = ttk.Label(settings_frame, text="Tonhöhe:") lbl_pitch.grid(row=1, column=0, padx=5, pady=5, sticky='w') self.pitch_var = tk.DoubleVar(value=1.0) pitch_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.pitch_var, orient='horizontal') pitch_scale.grid(row=1, column=1, padx=5, pady=5, sticky='ew') ToolTip(pitch_scale, "Stellt die Tonhöhe ein.") settings_frame.columnconfigure(1, weight=1) # Synthese-Button btn_synthesize = ttk.Button(frame, text="Synthetisieren", command=self.synthesize_voice) btn_synthesize.pack(pady=10, padx=10, anchor='e') ToolTip(btn_synthesize, "Synthesiert den eingegebenen Text mit der ausgewählten Stimme.") def create_replace_tab(self): # Stimmtausch UI frame = ttk.LabelFrame(self.tab_replace, text="Stimmtausch in Dateien") frame.pack(fill='both', padx=10, pady=10, expand=True) # Datei auswählen btn_select_file = ttk.Button(frame, text="Audio-/Videodatei auswählen", command=self.select_audio_video_file) btn_select_file.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_file, "Wählen Sie die Audio- oder Videodatei aus, in der die Stimme ersetzt werden soll.") # Übersetzungsoption self.translate_var = tk.BooleanVar() chk_translate = ttk.Checkbutton(frame, text="Englische Sprache ins Deutsche übersetzen", variable=self.translate_var) chk_translate.pack(pady=5, padx=10, anchor='w') ToolTip(chk_translate, "Falls aktiviert, wird englischer Text ins Deutsche übersetzt.") # Stimme ersetzen Button self.btn_replace = ttk.Button(frame, text="Stimme in Datei ersetzen", command=self.replace_voice_in_file) self.btn_replace.pack(pady=5, padx=10, anchor='w') ToolTip(self.btn_replace, "Ersetzt die Stimme in der ausgewählten Datei durch die aktuell geladene Stimme.") def create_settings_tab(self): # Einstellungen UI frame = ttk.LabelFrame(self.tab_settings, text="Einstellungen") frame.pack(fill='both', padx=10, pady=10, expand=True) # Spracheinstellungen language_frame = ttk.Frame(frame) language_frame.pack(pady=5, padx=10, anchor='w') lbl_language = ttk.Label(language_frame, text="Sprache:") lbl_language.pack(side=tk.LEFT, padx=5) language_options = list(self.language_models.keys()) language_option = ttk.OptionMenu(language_frame, self.current_language, self.current_language.get(), *language_options) language_option.pack(side=tk.LEFT, padx=2) ToolTip(language_option, "Wähle die Sprache für die Textsynthese.") # Audio-Einstellungen audio_frame = ttk.Frame(frame) audio_frame.pack(pady=5, padx=10, anchor='w') lbl_audio = ttk.Label(audio_frame, text="Audioformat:") lbl_audio.pack(side=tk.LEFT, padx=5) self.audio_var = tk.StringVar() self.audio_var.set("wav") # Standardwert audio_option = ttk.OptionMenu(audio_frame, self.audio_var, "wav", "mp3") audio_option.pack(side=tk.LEFT, padx=2) ToolTip(audio_option, "Wähle das Audioformat für die Textsynthese.") # Weitere ASR-Einstellungen können hier hinzugefügt werden def create_preview_tab(self): # Vorschau UI frame = ttk.LabelFrame(self.tab_preview, text="Vorschau") frame.pack(fill='both', padx=10, pady=10, expand=True) # Auswahl der Vorschau-Audiodatei btn_select_preview = ttk.Button(frame, text="Audiodatei zur Vorschau auswählen", command=self.select_preview_file) btn_select_preview.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_preview, "Wählen Sie eine Audiodatei aus, um eine Vorschau anzuhören.") # Vorschau-Player self.preview_controls = ttk.Frame(frame) self.preview_controls.pack(pady=10) btn_play_preview = ttk.Button(self.preview_controls, text="Abspielen", command=self.play_preview) btn_play_preview.grid(row=0, column=0, padx=5) ToolTip(btn_play_preview, "Spielt die ausgewählte Audiodatei ab.") btn_stop_preview = ttk.Button(self.preview_controls, text="Stoppen", command=self.stop_preview) btn_stop_preview.grid(row=0, column=1, padx=5) ToolTip(btn_stop_preview, "Stoppt die Wiedergabe der Audiodatei.") self.preview_wave_obj = None self.preview_play_obj = None self.preview_audio_path = None def create_status_bar(self): # Statusleiste am unteren Rand status_frame = ttk.Frame(self) status_frame.pack(fill='x', side='bottom') self.progress_bar = ttk.Progressbar(status_frame, variable=self.progress_var, maximum=100) self.progress_bar.pack(fill='x', padx=10, pady=2) self.message_text = tk.Text(status_frame, height=4, state=tk.DISABLED) self.message_text.pack(fill='x', padx=10, pady=2) def insert_example_text(self, example_number): examples = { 1: "Dies ist ein Beispieltext für die Sprachsynthese.", 2: "Willkommen bei der verbesserten Speech2Speech Anwendung!" } self.text_entry.delete("1.0", tk.END) self.text_entry.insert(tk.END, examples.get(example_number, "")) def log_message(self, message): self.status_var.set(message) self.message_text.config(state=tk.NORMAL) self.message_text.insert(tk.END, message + "\n") self.message_text.see(tk.END) self.message_text.config(state=tk.DISABLED) self.update_idletasks() def ensure_models(self): # Lade TTS-Modelle und ASR-Modelle in separaten Threads threading.Thread(target=self.load_tts_models, daemon=True).start() threading.Thread(target=self.load_asr_models, daemon=True).start() def load_tts_models(self): for language, paths in self.language_models.items(): self.log_message(f"Lade TTS-Modell für {language}...") try: tts_model_name = paths["tts_model_name"] if tts_model_name: self.tts_models[language] = TTS(model_name=tts_model_name) self.log_message(f"TTS-Modell für {language} geladen.") else: self.log_message(f"Kein TTS-Modellname für {language} definiert.") except Exception as e: logging.error(f"Fehler beim Laden des TTS-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des TTS-Modells für {language}: {e}") def load_asr_models(self): for language, paths in self.language_models.items(): asr_model_path = paths["asr_model_path"] if not asr_model_path.exists(): self.download_asr_model(language, asr_model_path) else: self.log_message(f"ASR-Modell für {language} ist bereits vorhanden.") try: self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} geladen.") except Exception as e: logging.error(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message("Alle ASR-Modelle sind bereit.") def download_asr_model(self, language, asr_model_path): self.log_message(f"ASR-Modell für {language} wird heruntergeladen...") try: url = self.language_models[language]["asr_model_url"] model_zip_path = MODELS_DIR / f"asr_model_{language}.zip" MODELS_DIR.mkdir(parents=True, exist_ok=True) self.download_file(url, model_zip_path) # Entpacken des Modells with zipfile.ZipFile(model_zip_path, 'r') as zip_ref: zip_ref.extractall(MODELS_DIR) os.remove(model_zip_path) if asr_model_path.exists(): self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} erfolgreich heruntergeladen und eingerichtet.") else: raise Exception(f"ASR-Modellpfad {asr_model_path} existiert nach dem Entpacken nicht.") except Exception as e: logging.error(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") def download_file(self, url, dest_path): try: with requests.get(url, stream=True) as response: response.raise_for_status() total_size = int(response.headers.get('content-length', 0)) block_size = 1024 # 1KB wrote = 0 with open(dest_path, 'wb') as f: for data in response.iter_content(block_size): wrote += len(data) f.write(data) if total_size > 0: progress = (wrote / total_size) * 100 self.progress_var.set(progress) self.update_idletasks() if total_size != 0 and wrote != total_size: self.log_message(f"Fehler beim Herunterladen von {url}: Größe stimmt nicht überein.") raise Exception("Download unvollständig") self.progress_var.set(0) except requests.exceptions.RequestException as e: logging.error(f"Fehler beim Herunterladen der Datei {url}: {e}") self.log_message(f"Fehler beim Herunterladen der Datei {url}: {e}") raise def change_language(self): selected_language = self.current_language.get() self.log_message(f"Sprache gewechselt zu {selected_language}") # Hier können zusätzliche Aktionen hinzugefügt werden, wenn die Sprache gewechselt wird def load_saved_voices(self): SAVED_VOICES_DIR.mkdir(exist_ok=True) self.voice_listbox.delete(0, tk.END) for voice_file in SAVED_VOICES_DIR.glob("*.wav"): voice_name = voice_file.stem self.voice_listbox.insert(tk.END, voice_name) self.speaker_embeddings[voice_name] = str(voice_file) def train_new_voice(self): file_paths = filedialog.askopenfilenames( title="Wählen Sie Audiodateien für das Training aus", filetypes=[("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus")] ) if not file_paths: self.log_message("Keine Audiodateien ausgewählt.") return voice_name = simpledialog.askstring("Stimmenname", "Geben Sie einen Namen für die neue Stimme ein:") if not voice_name: self.log_message("Kein Stimmenname eingegeben.") return if voice_name in self.speaker_embeddings: self.log_message(f"Stimme '{voice_name}' existiert bereits.") messagebox.showwarning("Warnung", f"Stimme '{voice_name}' existiert bereits.") return self.log_message("Stimme wird trainiert...") self.progress_var.set(0) self.btn_replace.config(state=tk.DISABLED) self.disable_all_buttons() def training_thread(): preprocessed_files = [] try: total_files = len(file_paths) for idx, file_path in enumerate(file_paths, 1): preprocessed_path = self.preprocess_audio(file_path) if preprocessed_path: preprocessed_files.append(preprocessed_path) else: self.log_message(f"Überspringe Datei {file_path} aufgrund von Vorverarbeitungsfehlern.") self.progress_var.set((idx / (total_files * 2)) * 100) # Training auf 50% setzen self.update_idletasks() if not preprocessed_files: self.log_message("Keine gültigen Audiodateien für das Training vorhanden.") return # Kombiniere vorverarbeitete Dateien in eine Datei combined_audio = AudioSegment.empty() for preprocessed_file in preprocessed_files: audio_segment = AudioSegment.from_file(preprocessed_file) combined_audio += audio_segment # Speichere kombiniertes Audio save_path = SAVED_VOICES_DIR / f"{voice_name}.wav" combined_audio.export(str(save_path), format="wav") self.speaker_embeddings[voice_name] = str(save_path) self.voice_listbox.insert(tk.END, voice_name) self.log_message(f"Stimme '{voice_name}' wurde erfolgreich erstellt.") self.progress_var.set(50) # Hier könnte tatsächliches Training des Modells erfolgen, falls unterstützt # Zum Beispiel: self.train_voice_model(save_path) # Dieser Schritt hängt von den verwendeten TTS-Modellen und deren API ab self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Training der Stimme: {e}") self.log_message(f"Fehler beim Training der Stimme: {e}") finally: # Temporäre Dateien löschen for preprocessed_file in preprocessed_files: try: os.remove(preprocessed_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{preprocessed_file}': {e}") self.progress_var.set(0) self.enable_all_buttons() self.btn_replace.config(state=tk.NORMAL) threading.Thread(target=training_thread, daemon=True).start() def disable_all_buttons(self): # Deaktiviert alle Buttons, wenn eine Langzeitoperation läuft for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['disabled']) elif isinstance(child, ttk.Frame): for subchild in child.winfo_children(): if isinstance(subchild, ttk.Button): subchild.state(['disabled']) def enable_all_buttons(self): # Aktiviert alle Buttons nach Abschluss einer Langzeitoperation for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['!disabled']) elif isinstance(child, ttk.Frame): for subchild in child.winfo_children(): if isinstance(subchild, ttk.Button): subchild.state(['!disabled']) def load_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: try: self.current_embedding = self.speaker_embeddings[selected_voice] self.log_message(f"Stimme '{selected_voice}' wurde geladen.") except Exception as e: logging.error(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def delete_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: confirm = messagebox.askyesno("Bestätigung", f"Möchten Sie die Stimme '{selected_voice}' wirklich löschen?") if confirm: try: os.remove(self.speaker_embeddings[selected_voice]) del self.speaker_embeddings[selected_voice] self.voice_listbox.delete(tk.ACTIVE) self.log_message(f"Stimme '{selected_voice}' wurde gelöscht.") except Exception as e: logging.error(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def preprocess_audio(self, file_path): temp_audio_path = None # Initialisieren try: self.log_message(f"Vorverarbeitung der Audiodatei: {file_path}") mime_type, _ = mimetypes.guess_type(file_path) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") # Extrahieren des Audio-Teils aus der Video-Datei with VideoFileClip(file_path) as video: audio = video.audio if audio is None: self.log_message(f"Keine Audiospur in der Video-Datei '{file_path}' gefunden.") return None temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(temp_audio_path, logger=None) file_path = temp_audio_path # Konvertieren und Laden der Audiodatei sound = AudioSegment.from_file(file_path) sound = sound.set_frame_rate(22050).set_channels(1) temp_processed_fd, preprocessed_path = tempfile.mkstemp(suffix=".wav") os.close(temp_processed_fd) sound.export(preprocessed_path, format="wav") y, sr = librosa.load(preprocessed_path, sr=22050, mono=True) # Überprüfen der Länge if len(y) < sr * 1: # Mindestens 1 Sekunde self.log_message(f"Audiodatei '{file_path}' ist zu kurz. Mindestens 1 Sekunde erforderlich.") os.remove(preprocessed_path) return None # Normalisierung y = librosa.util.normalize(y) # Speichern der normalisierten Audiodaten sf.write(preprocessed_path, y, sr) self.log_message(f"Vorverarbeitung der Audiodatei '{file_path}' abgeschlossen.") return preprocessed_path except Exception as e: logging.error(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") self.log_message(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") return None finally: # Temporäre Dateien löschen if temp_audio_path and os.path.exists(temp_audio_path) and temp_audio_path != file_path: try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def synthesize_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return text_to_speak = self.text_entry.get("1.0", tk.END).strip() if not text_to_speak: self.log_message("Bitte geben Sie einen Text ein.") messagebox.showwarning("Warnung", "Kein Text eingegeben.") return # Eingabe bereinigen import re text_to_speak = re.sub(r'[^\w\s.,!?]', '', text_to_speak) self.log_message("Synthese läuft...") self.progress_var.set(0) self.disable_all_buttons() def synthesis_thread(): try: tts_model = self.tts_models.get(self.current_language.get()) if not tts_model: self.log_message("TTS-Modell für die ausgewählte Sprache ist nicht geladen.") messagebox.showerror("Fehler", "TTS-Modell für die ausgewählte Sprache ist nicht verfügbar.") return language_code = self.language_models[self.current_language.get()]["language_code"] # TTS-Einstellungen berücksichtigen rate = self.rate_var.get() pitch = self.pitch_var.get() # Hier muss das TTS-Modell die Rate und Pitch unterstützen # Dies hängt von der verwendeten TTS-Bibliothek ab. Annahme hier: temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) tts_model.tts_to_file( text=text_to_speak, speaker_wav=self.current_embedding, language=language_code, file_path=temp_audio_path ) self.synthesized_audio_path = temp_audio_path # Optional: Anpassung der Sprechgeschwindigkeit und Tonhöhe nach der Synthese sound = AudioSegment.from_file(self.synthesized_audio_path) sound = sound.speedup(playback_speed=rate) # Pydub unterstützt keine Pitch-Änderung direkt, hierfür müsste eine andere Bibliothek genutzt werden # Alternativ könnten Sie Librosa für die Pitch-Anpassung verwenden # Beispiel mit Librosa: y, sr = librosa.load(self.synthesized_audio_path) y_shifted = librosa.effects.pitch_shift(y, sr, n_steps=pitch) sf.write(self.synthesized_audio_path, y_shifted, sr) # Abspielen der synthetisierten Audio wave_obj = sa.WaveObject.from_wave_file(self.synthesized_audio_path) play_obj = wave_obj.play() self.preview_wave_obj = wave_obj self.preview_play_obj = play_obj play_obj.wait_done() self.log_message("Synthese abgeschlossen und abgespielt.") self.progress_var.set(100) # Vorschau-Tab aktualisieren self.update_preview(self.synthesized_audio_path) except Exception as e: logging.error(f"Fehler bei der Sprachsynthese: {e}") self.log_message(f"Fehler bei der Sprachsynthese: {e}") messagebox.showerror("Fehler", f"Fehler bei der Sprachsynthese:\n{e}") self.progress_var.set(0) finally: # Die synthetisierte Audio-Datei nicht löschen, um die Vorschau zu ermöglichen self.progress_var.set(0) self.enable_all_buttons() threading.Thread(target=synthesis_thread, daemon=True).start() def update_preview(self, audio_path): self.preview_audio_path = audio_path self.log_message(f"Vorschau-Audiodatei aktualisiert: {audio_path}") def select_preview_file(self): file_path = filedialog.askopenfilename( title="Wählen Sie eine Audiodatei zur Vorschau aus", filetypes=[ ("WAV Dateien", "*.wav"), ("MP3 Dateien", "*.mp3"), ("Alle Dateien", "*.*") ] ) if file_path: self.preview_audio_path = file_path self.log_message(f"Vorschau-Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Vorschau-Datei ausgewählt.") def play_preview(self): if not self.preview_audio_path: self.log_message("Keine Vorschau-Datei ausgewählt.") messagebox.showwarning("Warnung", "Keine Datei zur Vorschau ausgewählt.") return try: wave_obj = sa.WaveObject.from_wave_file(self.preview_audio_path) play_obj = wave_obj.play() self.preview_play_obj = play_obj self.log_message("Vorschau abgespielt.") except Exception as e: logging.error(f"Fehler beim Abspielen der Vorschau: {e}") self.log_message(f"Fehler beim Abspielen der Vorschau: {e}") messagebox.showerror("Fehler", f"Fehler beim Abspielen der Vorschau:\n{e}") def stop_preview(self): if self.preview_play_obj and self.preview_play_obj.is_playing(): self.preview_play_obj.stop() self.log_message("Vorschau-Wiedergabe gestoppt.") else: self.log_message("Keine laufende Vorschau-Wiedergabe.") def select_audio_video_file(self): file_path = filedialog.askopenfilename( title="Öffne Audio/Video Datei", filetypes=[ ("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus"), ("Video Dateien", "*.mp4 *.avi *.mov *.mkv"), ("Alle Dateien", "*.*") ] ) if file_path: self.file_to_process = file_path self.log_message(f"Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Datei ausgewählt.") def replace_voice_in_file(self): if not self.file_to_process: self.log_message("Bitte wählen Sie zuerst eine Datei aus.") messagebox.showwarning("Warnung", "Keine Datei ausgewählt.") return selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return if self.current_embedding is None: self.log_message("Keine gültige Stimme geladen.") messagebox.showerror("Fehler", "Keine gültige Stimme geladen.") return self.log_message("Stimmtausch läuft...") self.progress_var.set(0) self.disable_all_buttons() def replace_thread(): temp_files = [] try: total_steps = 8 # Angepasste Anzahl der Schritte current_step = 0 # Audio extrahieren (falls Video) file_ext = os.path.splitext(self.file_to_process)[1].lower() mime_type, _ = mimetypes.guess_type(self.file_to_process) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") with VideoFileClip(self.file_to_process) as video: audio = video.audio if audio is None: raise Exception("Keine Audiospur in der Video-Datei gefunden.") temp_audio_fd, audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(audio_path, logger=None) temp_files.append(audio_path) is_video = True else: audio_path = self.file_to_process is_video = False current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Spracherkennung (ASR) self.log_message("Spracherkennung läuft...") language = self.detect_language(audio_path) language_code = self.language_models[language]["language_code"] asr_model = self.asr_models.get(language) tts_model = self.tts_models.get(language) if not asr_model or not tts_model: self.log_message(f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") messagebox.showerror("Fehler", f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") return segments = self.transcribe_audio(audio_path, asr_model) if not segments: raise Exception("Keine Sprache im Audio erkannt.") current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Übersetzung ins Deutsche (falls ausgewählt) if self.translate_var.get() and language == "Englisch": self.log_message("Übersetzung läuft...") try: # Text sammeln text = ' '.join([seg['word'] for seg in segments]) translated_text = GoogleTranslator(source='en', target='de').translate(text) translated_words = translated_text.split() # Übersetzte Wörter den Segmenten zuweisen for idx, seg in enumerate(segments): if idx < len(translated_words): seg['word'] = translated_words[idx] except Exception as e: self.log_message(f"Fehler bei der Übersetzung: {e}") # Fortfahren ohne Übersetzung current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Generiere synthetisierte Audios für jedes Segment self.log_message("Synthese der neuen Stimme läuft...") synthesized_segments = [] for idx, segment in enumerate(segments): text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) temp_files.append(f.name) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) temp_files.append(temp_silence_path) # Fortschritt aktualisieren self.progress_var.set((current_step + (idx / len(segments))) / total_steps * 100) self.update_idletasks() current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Zusammensetzen der Audios self.log_message("Zusammenfügen der Audiodateien...") if not synthesized_segments: raise Exception("Keine Segmente zum Zusammenfügen vorhanden.") duration_ms = int(segments[-1]['end'] * 1000) if segments else 0 combined = AudioSegment.silent(duration=duration_ms) for segment in synthesized_segments: audio = AudioSegment.from_file(segment['audio_path']) start_ms = int(segment['start'] * 1000) combined = combined.overlay(audio, position=start_ms) output_audio_fd, output_audio_path = tempfile.mkstemp(suffix=".wav") os.close(output_audio_fd) combined.export(output_audio_path, format="wav") temp_files.append(output_audio_path) current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() if is_video: # Neues Video mit ersetzter Audiospur erstellen self.log_message("Erstelle neues Video mit ersetzter Audiospur...") with VideoFileClip(self.file_to_process) as video: new_audio = AudioFileClip(output_audio_path) new_video = video.set_audio(new_audio) save_path = filedialog.asksaveasfilename( defaultextension=".mp4", filetypes=[("MP4 Datei", "*.mp4")], title="Speichern Sie die neue Videodatei" ) if save_path: new_video.write_videofile(save_path, logger=None, audio_codec='aac') self.log_message(f"Neues Video gespeichert unter: {save_path}") else: # Neues Audio speichern self.log_message("Speichere die neue Audiodatei...") save_path = filedialog.asksaveasfilename( defaultextension=".wav", filetypes=[("WAV Datei", "*.wav")], title="Speichern Sie die neue Audiodatei" ) if save_path: shutil.move(output_audio_path, save_path) temp_files.remove(output_audio_path) # Bereits verschoben self.log_message(f"Neue Audiodatei gespeichert unter: {save_path}") self.log_message("Stimmtausch abgeschlossen.") self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Stimmtausch: {e}") self.log_message(f"Fehler beim Stimmtausch: {e}") messagebox.showerror("Fehler", f"Es ist ein Fehler aufgetreten:\n{str(e)}") self.progress_var.set(0) finally: # Temporäre Dateien löschen for temp_file in temp_files: if os.path.exists(temp_file): try: os.remove(temp_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_file}': {e}") self.enable_all_buttons() threading.Thread(target=replace_thread, daemon=True).start() def detect_language(self, audio_path): try: self.log_message("Erkenne Sprache der Audiodatei...") with wave.open(audio_path, "rb") as wf: if wf.getnchannels() != 1 or wf.getsampwidth() != 2: self.log_message("Konvertiere Audiodatei in Mono und 16-Bit...") sound = AudioSegment.from_file(audio_path) sound = sound.set_channels(1).set_sample_width(2) temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) sound.export(temp_audio_path, format="wav") else: temp_audio_path = audio_path with wave.open(temp_audio_path, "rb") as wf_processed: # Größeren Abschnitt lesen (z.B. 10 Sekunden) frames = wf_processed.getnframes() rate = wf_processed.getframerate() duration = frames / float(rate) if duration > 10: frames_to_read = int(rate * 10) else: frames_to_read = frames data = wf_processed.readframes(frames_to_read) # Initialize recognizers rec_de = KaldiRecognizer(self.asr_models["Deutsch"], rate) rec_en = KaldiRecognizer(self.asr_models["Englisch"], rate) rec_de.SetWords(True) rec_en.SetWords(True) rec_de.AcceptWaveform(data) result_de = json.loads(rec_de.Result()) rec_en.AcceptWaveform(data) result_en = json.loads(rec_en.Result()) score_de = len(result_de.get('text', '').split()) score_en = len(result_en.get('text', '').split()) # Sprache mit dem höheren Score auswählen if score_de > score_en: self.log_message("Sprache Deutsch erkannt.") return "Deutsch" elif score_en > score_de: self.log_message("Sprache Englisch erkannt.") return "Englisch" else: self.log_message("Sprache konnte nicht eindeutig erkannt werden, verwende Standardsprache.") return self.current_language.get() except Exception as e: logging.error(f"Fehler bei der Sprachenerkennung: {e}") self.log_message(f"Fehler bei der Sprachenerkennung: {e}") return self.current_language.get() finally: # Temporäre Dateien löschen if 'temp_audio_path' in locals() and temp_audio_path != audio_path: try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def transcribe_audio(self, audio_path, asr_model): try: with wave.open(audio_path, "rb") as wf: rec = KaldiRecognizer(asr_model, wf.getframerate()) rec.SetWords(True) results = [] while True: data = wf.readframes(4000) if len(data) == 0: break if rec.AcceptWaveform(data): part_result = json.loads(rec.Result()) if 'result' in part_result: results.extend(part_result['result']) final_result = json.loads(rec.FinalResult()) if 'result' in final_result: results.extend(final_result['result']) # Segmente extrahieren segments = [] for word_info in results: word = word_info['word'] start = word_info['start'] end = word_info['end'] segments.append({'word': word, 'start': start, 'end': end}) return segments except Exception as e: logging.error(f"Fehler bei der Transkription: {e}") self.log_message(f"Fehler bei der Transkription: {e}") return [] def synthesize_segments(self, segments, tts_model, language_code): synthesized_segments = [] for segment in segments: text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) return synthesized_segments def synthesize_voice_improved(self): # Platzhalter für weitere Verbesserungen pass # Weitere Implementierungen können hier hinzugefügt werden if __name__ == "__main__": app = Speech2SpeechApp() app.mainloop()Wichtige Hinweise:
-
TTS-Einstellungen:
- Die Anpassung der Sprechgeschwindigkeit (
speed) und der Tonhöhe (pitch) erfolgt nach der Synthese durch die Verwendung vonpydubundlibrosa. - Die direkte Unterstützung von
speedundpitchin dertts_to_fileMethode wurde entfernt, da sie möglicherweise nicht von derTTS-Bibliothek unterstützt wird.
- Die Anpassung der Sprechgeschwindigkeit (
-
Asynchronität und Threading:
- Langzeitoperationen wie das Laden von Modellen, das Trainieren neuer Stimmen und der Stimmtausch werden in separaten Threads ausgeführt, um die GUI reaktionsfähig zu halten.
- Alle GUI-Updates erfolgen auf der Hauptthread-Ebene, um Thread-Sicherheitsprobleme zu vermeiden.
-
Temporäre Dateien:
- Temporäre Dateien werden sorgfältig verwaltet und nur dann gelöscht, wenn sie nicht mehr benötigt werden, um eine reibungslose Vorschau zu gewährleisten.
-
Spracherkennung und Übersetzung:
- Die Sprachenerkennung nutzt Vosk-Modelle für Deutsch und Englisch.
- Optional kann englischer Text ins Deutsche übersetzt werden, bevor die Sprachsynthese erfolgt.
-
Benutzeroberfläche:
- Die Anwendung bietet eine benutzerfreundliche Oberfläche mit klar strukturierten Tabs für unterschiedliche Funktionen wie Stimmenverwaltung, Textsynthese, Stimmtausch und Vorschau.
Voraussetzungen:
Stelle sicher, dass alle erforderlichen Bibliotheken installiert sind. Du kannst sie mit
pipinstallieren:pip install tkinter TTS simpleaudio librosa soundfile vosk pydub moviepy deep-translator requestsHinweis: Einige Bibliotheken wie
pyduberfordern zusätzliche externe Abhängigkeiten (z.B.ffmpeg). Stelle sicher, dass diese ebenfalls installiert sind und im PATH verfügbar sind.Abschluss:
Dieses Skript sollte jetzt fehlerfrei laufen, vorausgesetzt alle Abhängigkeiten sind korrekt installiert und die Modelle werden ordnungsgemäß heruntergeladen und entpackt. Bei weiteren Problemen oder spezifischen Fehlermeldungen kannst Du diese gerne mitteilen, damit wir gezielter helfen können.
-