überprüfe dieses skript und behebe alle fehler und probleme die ein vollständiges nutzen…
- User
überprüfe dieses skript und behebe alle fehler und probleme die ein vollständiges nutzen aller funktionen verhindern. Prüfe ob unlogische oder unnötig komplizierte oder unfertige methoden vorhanden sind und verbessere diese. SOrge dafür das beim ersten start ein popup erscheint und der nutzer dort gefragt wird welche standard dateien/modelle er aus einer sorgfältig ausgewählten externen presetliste einrichten will und sorge dafür das diese gedownloaded und verwendet werden können. Bestimme auch das ein minimum an datein gewählt werden muss, wie zb die aufjedenfall benötigten modelle einer vom nutzer bestimmten sprache. Diese möglichkeit opresets zu downloaden soll zu einem späteren zeitpunkt durch das gui auch nochmal möglich sein je nach bedarf. Sorge zudem dafür das für alle bearbeitungen, downloads und sonstige vorgänge im gui am unteren rand vom linken rand des gui bis zum rechten rand ein fortschrittsbalken angezeigt wird. dieser bereich des gui soll nur für fortchrittsbalken zur verfügung stehen und soll von allen gui seiten aus sichtbar sein. Auch mehrere fortschrittsbalken sollen dort bei bedarf angezeigt werden indem diese transparent und übereinanderliegend dargestellt werden, so das der am weitesten fortgeschrittene balken die höchste transparenz aufweist, der nächste fortschrittsbalken liegt dann über dem vordersten fortschrittsbalken und wird daher automatisch als bereich erkennbar sein der etwas weniger transparent ist u.s.w.
überprüfe dieses skript und behebe alle fehler und probleme die ein vollständiges nutzen aller funktionen verhindern. Prüfe ob unlogische oder unnötig komplizierte oder unfertige methoden vorhanden sind und verbessere diese. SOrge dafür das beim ersten start ein popup erscheint und der nutzer dort gefragt wird welche standard dateien/modelle er aus einer sorgfältig ausgewählten externen presetliste einrichten will und sorge dafür das diese gedownloaded und verwendet werden können. Bestimme auch das ein minimum an datein gewählt werden muss, wie zb die aufjedenfall benötigten modelle einer vom nutzer bestimmten sprache. Diese möglichkeit opresets zu downloaden soll zu einem späteren zeitpunkt durch das gui auch nochmal möglich sein je nach bedarf. Sorge zudem dafür das für alle bearbeitungen, downloads und sonstige vorgänge im gui am unteren rand vom linken rand des gui bis zum rechten rand ein fortschrittsbalken angezeigt wird. dieser bereich des gui soll nur für fortchrittsbalken zur verfügung stehen und soll von allen gui seiten aus sichtbar sein. Auch mehrere fortschrittsbalken sollen dort bei bedarf angezeigt werden indem diese transparent und übereinanderliegend dargestellt werden, so das der am weitesten fortgeschrittene balken die höchste transparenz aufweist, der nächste fortschrittsbalken liegt dann über dem vordersten fortschrittsbalken und wird daher automatisch als bereich erkennbar sein der etwas weniger transparent ist u.s.w.
import tkinter as tk from tkinter import filedialog, messagebox, ttk, simpledialog from tkinter.ttk import Progressbar from TTS.api import TTS import simpleaudio as sa import tempfile import os import shutil from pathlib import Path import librosa import soundfile as sf import requests import threading from vosk import Model as ASRModel, KaldiRecognizer import json import wave from pydub import AudioSegment from moviepy.editor import VideoFileClip, AudioFileClip import mimetypes from deep_translator import GoogleTranslator import zipfile import logging
Setup logging
logging.basicConfig(level=logging.ERROR, format='%(asctime)s - %(levelname)s - %(message)s')
Constants for directories and model URLs
MODELS_DIR = Path("models") SAVED_VOICES_DIR = Path("saved_voices") ASR_MODEL_URLS = { "Deutsch": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "Englisch": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", } TTS_MODEL_NAMES = { "Deutsch": "tts_models/de/thorsten/tacotron2-DCA", "Englisch": "tts_models/en/ljspeech/tacotron2-DDC", } LANGUAGE_CODES = { "Deutsch": "de", "Englisch": "en", }
ToolTip Klasse (einmal definiert)
class ToolTip: def init(self, widget, text): self.widget = widget self.text = text self.tooltip_window = None if hasattr(self.widget, "bbox"): self.widget.bind("", self.show_tooltip) self.widget.bind("", self.hide_tooltip) else: print("Das Widget unterstützt keine Tooltips.")
def show_tooltip(self, event=None): if self.tooltip_window or not self.text: return x, y, cx, cy = 0, 0, 0, 0 if hasattr(self.widget, "bbox"): bbox = self.widget.bbox("insert") if bbox: x, y, cx, cy = bbox else: x, y = self.widget.winfo_rootx() + 25, self.widget.winfo_rooty() + 20 self.tooltip_window = tw = tk.Toplevel(self.widget) tw.wm_overrideredirect(True) tw.wm_geometry(f"+{self.widget.winfo_rootx()+25}+{self.widget.winfo_rooty()+20}") label = tk.Label(tw, text=self.text, justify='left', background="#ffffe0", relief='solid', borderwidth=1, font=("Arial", "10", "normal")) label.pack(ipadx=1) def hide_tooltip(self, event=None): tw = self.tooltip_window self.tooltip_window = None if tw: tw.destroy()class Speech2SpeechApp(tk.Tk): def init(self): super().init() self.progress_var = tk.DoubleVar() self.status_var = tk.StringVar() self.title("Speech2Speech Anwendung") self.geometry("1000x700") self.style = ttk.Style(self) self.style.theme_use('clam') # Modernes Theme
self.audio_sample_paths = [] # Liste gespeicherter Stimmen self.speaker_embeddings = {} # Dictionary für Sprecher-Audiodateien self.current_embedding = None self.synthesized_audio_path = None self.current_language = tk.StringVar() self.current_language.set("Deutsch") # Standardwert self.asr_models = {} self.tts_models = {} self.language_models = { "Deutsch": { "tts_model_name": "tts_models/de/thorsten/tacotron2-DCA", "asr_model_path": MODELS_DIR / "vosk-model-small-de-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "language_code": "de", }, "Englisch": { "tts_model_name": "tts_models/en/ljspeech/tacotron2-DDC", "asr_model_path": MODELS_DIR / "vosk-model-small-en-us-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", "language_code": "en", } # Weitere Sprachen können hier hinzugefügt werden } self.file_to_process = None # Initialisierung der Datei-Variable self.create_menu() self.create_tabs() self.create_status_bar() # Initialisierung self.load_saved_voices() self.after(100, self.ensure_models) # Lade Modelle nach dem UI-Aufbau def create_menu(self): menubar = tk.Menu(self) self.config(menu=menubar) # Datei-Menü file_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Datei", menu=file_menu) file_menu.add_command(label="Datei öffnen", command=self.select_audio_video_file) file_menu.add_separator() file_menu.add_command(label="Beenden", command=self.quit) # Einstellungen-Menü settings_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Einstellungen", menu=settings_menu) settings_menu.add_command(label="Sprache ändern", command=self.change_language) # Hilfe-Menü help_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Hilfe", menu=help_menu) help_menu.add_command(label="Über", command=self.show_about) def show_about(self): messagebox.showinfo("Über", "Speech2Speech Anwendung\nVersion 1.0\nEntwickelt von Deinem Namen") def create_tabs(self): self.tabs = ttk.Notebook(self) self.tabs.pack(expand=1, fill='both') # Tab 1: Stimmenverwaltung self.tab_voices = ttk.Frame(self.tabs) self.tabs.add(self.tab_voices, text="Stimmenverwaltung") self.create_voice_tab() # Tab 2: Text Synthese self.tab_synthesize = ttk.Frame(self.tabs) self.tabs.add(self.tab_synthesize, text="Text Synthese") self.create_synthesize_tab() # Tab 3: Stimmtausch self.tab_replace = ttk.Frame(self.tabs) self.tabs.add(self.tab_replace, text="Stimmtausch") self.create_replace_tab() # Tab 4: Einstellungen self.tab_settings = ttk.Frame(self.tabs) self.tabs.add(self.tab_settings, text="Einstellungen") self.create_settings_tab() # Tab 5: Vorschau self.tab_preview = ttk.Frame(self.tabs) self.tabs.add(self.tab_preview, text="Vorschau") self.create_preview_tab() def create_voice_tab(self): # Stimmenverwaltung UI frame = ttk.LabelFrame(self.tab_voices, text="Verfügbare Stimmen") frame.pack(fill='both', expand=True, padx=10, pady=10) # Listbox für Stimmen self.voice_listbox = tk.Listbox(frame, height=20) self.voice_listbox.pack(side=tk.LEFT, fill='both', expand=True, padx=(10, 5), pady=10) # Scrollbar für Listbox scrollbar = ttk.Scrollbar(frame, orient="vertical", command=self.voice_listbox.yview) scrollbar.pack(side=tk.LEFT, fill='y', pady=10) self.voice_listbox.config(yscrollcommand=scrollbar.set) # Buttons für Laden, Löschen und Trainieren button_frame = ttk.Frame(frame) button_frame.pack(side=tk.LEFT, fill='y', padx=5, pady=10) btn_load = ttk.Button(button_frame, text="Laden", command=self.load_voice) btn_load.pack(fill='x', pady=5) ToolTip(btn_load, "Lädt die ausgewählte Stimme.") btn_delete = ttk.Button(button_frame, text="Löschen", command=self.delete_voice) btn_delete.pack(fill='x', pady=5) ToolTip(btn_delete, "Löscht die ausgewählte Stimme.") btn_train = ttk.Button(button_frame, text="Neue Stimme trainieren", command=self.train_new_voice) btn_train.pack(fill='x', pady=5) ToolTip(btn_train, "Trainiert eine neue Stimme mit ausgewählten Audiodateien.") def create_synthesize_tab(self): # Text Synthese UI frame = ttk.LabelFrame(self.tab_synthesize, text="Text Synthese") frame.pack(fill='both', padx=10, pady=10, expand=True) # Text-Eingabe lbl_text = ttk.Label(frame, text="Geben Sie den zu synthetisierenden Text ein:") lbl_text.pack(pady=5, anchor='w', padx=10) self.text_entry = tk.Text(frame, width=80, height=10) self.text_entry.pack(pady=5, padx=10) # Beispieltexte example_frame = ttk.Frame(frame) example_frame.pack(pady=5, padx=10, anchor='w') lbl_example = ttk.Label(example_frame, text="Beispieltexte:") lbl_example.pack(side=tk.LEFT, padx=5) btn_example1 = ttk.Button(example_frame, text="Beispiel 1", command=lambda: self.insert_example_text(1)) btn_example1.pack(side=tk.LEFT, padx=2) ToolTip(btn_example1, "Fügt Beispieltext 1 in das Textfeld ein.") btn_example2 = ttk.Button(example_frame, text="Beispiel 2", command=lambda: self.insert_example_text(2)) btn_example2.pack(side=tk.LEFT, padx=2) ToolTip(btn_example2, "Fügt Beispieltext 2 in das Textfeld ein.") # Rate und Pitch Einstellungen settings_frame = ttk.Frame(frame) settings_frame.pack(pady=10, padx=10, anchor='w') lbl_rate = ttk.Label(settings_frame, text="Sprechgeschwindigkeit:") lbl_rate.grid(row=0, column=0, padx=5, pady=5, sticky='w') self.rate_var = tk.DoubleVar(value=1.0) rate_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.rate_var, orient='horizontal') rate_scale.grid(row=0, column=1, padx=5, pady=5, sticky='ew') ToolTip(rate_scale, "Stellt die Sprechgeschwindigkeit ein.") lbl_pitch = ttk.Label(settings_frame, text="Tonhöhe:") lbl_pitch.grid(row=1, column=0, padx=5, pady=5, sticky='w') self.pitch_var = tk.DoubleVar(value=1.0) pitch_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.pitch_var, orient='horizontal') pitch_scale.grid(row=1, column=1, padx=5, pady=5, sticky='ew') ToolTip(pitch_scale, "Stellt die Tonhöhe ein.") settings_frame.columnconfigure(1, weight=1) # Synthese-Button btn_synthesize = ttk.Button(frame, text="Synthetisieren", command=self.synthesize_voice) btn_synthesize.pack(pady=10, padx=10, anchor='e') ToolTip(btn_synthesize, "Synthesiert den eingegebenen Text mit der ausgewählten Stimme.") def create_replace_tab(self): # Stimmtausch UI frame = ttk.LabelFrame(self.tab_replace, text="Stimmtausch in Dateien") frame.pack(fill='both', padx=10, pady=10, expand=True) # Datei auswählen btn_select_file = ttk.Button(frame, text="Audio-/Videodatei auswählen", command=self.select_audio_video_file) btn_select_file.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_file, "Wählen Sie die Audio- oder Videodatei aus, in der die Stimme ersetzt werden soll.") # Übersetzungsoption self.translate_var = tk.BooleanVar() chk_translate = ttk.Checkbutton(frame, text="Englische Sprache ins Deutsche übersetzen", variable=self.translate_var) chk_translate.pack(pady=5, padx=10, anchor='w') ToolTip(chk_translate, "Falls aktiviert, wird englischer Text ins Deutsche übersetzt.") # Stimme ersetzen Button self.btn_replace = ttk.Button(frame, text="Stimme in Datei ersetzen", command=self.replace_voice_in_file) self.btn_replace.pack(pady=5, padx=10, anchor='w') ToolTip(self.btn_replace, "Ersetzt die Stimme in der ausgewählten Datei durch die aktuell geladene Stimme.") def create_settings_tab(self): # Einstellungen UI frame = ttk.LabelFrame(self.tab_settings, text="Einstellungen") frame.pack(fill='both', padx=10, pady=10, expand=True) # Spracheinstellungen language_frame = ttk.Frame(frame) language_frame.pack(pady=5, padx=10, anchor='w') lbl_language = ttk.Label(language_frame, text="Sprache:") lbl_language.pack(side=tk.LEFT, padx=5) language_options = list(self.language_models.keys()) language_option = ttk.OptionMenu(language_frame, self.current_language, self.current_language.get(), *language_options) language_option.pack(side=tk.LEFT, padx=2) ToolTip(language_option, "Wähle die Sprache für die Textsynthese.") # Audio-Einstellungen audio_frame = ttk.Frame(frame) audio_frame.pack(pady=5, padx=10, anchor='w') lbl_audio = ttk.Label(audio_frame, text="Audioformat:") lbl_audio.pack(side=tk.LEFT, padx=5) self.audio_var = tk.StringVar() self.audio_var.set("wav") # Standardwert audio_option = ttk.OptionMenu(audio_frame, self.audio_var, "wav", "mp3") audio_option.pack(side=tk.LEFT, padx=2) ToolTip(audio_option, "Wähle das Audioformat für die Textsynthese.") # Weitere ASR-Einstellungen können hier hinzugefügt werden def create_preview_tab(self): # Vorschau UI frame = ttk.LabelFrame(self.tab_preview, text="Vorschau") frame.pack(fill='both', padx=10, pady=10, expand=True) # Auswahl der Vorschau-Audiodatei btn_select_preview = ttk.Button(frame, text="Audiodatei zur Vorschau auswählen", command=self.select_preview_file) btn_select_preview.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_preview, "Wählen Sie eine Audiodatei aus, um eine Vorschau anzuhören.") # Vorschau-Player self.preview_controls = ttk.Frame(frame) self.preview_controls.pack(pady=10) btn_play_preview = ttk.Button(self.preview_controls, text="Abspielen", command=self.play_preview) btn_play_preview.grid(row=0, column=0, padx=5) ToolTip(btn_play_preview, "Spielt die ausgewählte Audiodatei ab.") btn_stop_preview = ttk.Button(self.preview_controls, text="Stoppen", command=self.stop_preview) btn_stop_preview.grid(row=0, column=1, padx=5) ToolTip(btn_stop_preview, "Stoppt die Wiedergabe der Audiodatei.") self.preview_wave_obj = None self.preview_play_obj = None self.preview_audio_path = None def create_status_bar(self): # Statusleiste am unteren Rand status_frame = ttk.Frame(self) status_frame.pack(fill='x', side='bottom') self.progress_bar = ttk.Progressbar(status_frame, variable=self.progress_var, maximum=100) self.progress_bar.pack(fill='x', padx=10, pady=2) self.message_text = tk.Text(status_frame, height=4, state=tk.DISABLED) self.message_text.pack(fill='x', padx=10, pady=2) def insert_example_text(self, example_number): examples = { 1: "Dies ist ein Beispieltext für die Sprachsynthese.", 2: "Willkommen bei der verbesserten Speech2Speech Anwendung!" } self.text_entry.delete("1.0", tk.END) self.text_entry.insert(tk.END, examples.get(example_number, "")) def log_message(self, message): self.status_var.set(message) self.message_text.config(state=tk.NORMAL) self.message_text.insert(tk.END, message + "\n") self.message_text.see(tk.END) self.message_text.config(state=tk.DISABLED) self.update_idletasks() def ensure_models(self): # Lade TTS-Modelle und ASR-Modelle in separaten Threads threading.Thread(target=self.load_tts_models, daemon=True).start() threading.Thread(target=self.load_asr_models, daemon=True).start() def load_tts_models(self): for language, paths in self.language_models.items(): self.log_message(f"Lade TTS-Modell für {language}...") try: tts_model_name = paths["tts_model_name"] if tts_model_name: self.tts_models[language] = TTS(model_name=tts_model_name) self.log_message(f"TTS-Modell für {language} geladen.") else: self.log_message(f"Kein TTS-Modellname für {language} definiert.") except Exception as e: logging.error(f"Fehler beim Laden des TTS-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des TTS-Modells für {language}: {e}") def load_asr_models(self): for language, paths in self.language_models.items(): asr_model_path = paths["asr_model_path"] if not asr_model_path.exists(): self.download_asr_model(language, asr_model_path) else: self.log_message(f"ASR-Modell für {language} ist bereits vorhanden.") try: self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} geladen.") except Exception as e: logging.error(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message("Alle ASR-Modelle sind bereit.") def download_asr_model(self, language, asr_model_path): self.log_message(f"ASR-Modell für {language} wird heruntergeladen...") try: url = self.language_models[language]["asr_model_url"] model_zip_path = MODELS_DIR / f"asr_model_{language}.zip" MODELS_DIR.mkdir(parents=True, exist_ok=True) self.download_file(url, model_zip_path) # Entpacken des Modells with zipfile.ZipFile(model_zip_path, 'r') as zip_ref: zip_ref.extractall(MODELS_DIR) os.remove(model_zip_path) if asr_model_path.exists(): self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} erfolgreich heruntergeladen und eingerichtet.") else: raise Exception(f"ASR-Modellpfad {asr_model_path} existiert nach dem Entpacken nicht.") except Exception as e: logging.error(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") def download_file(self, url, dest_path): try: with requests.get(url, stream=True) as response: response.raise_for_status() total_size = int(response.headers.get('content-length', 0)) block_size = 1024 # 1KB wrote = 0 with open(dest_path, 'wb') as f: for data in response.iter_content(block_size): wrote += len(data) f.write(data) if total_size > 0: progress = (wrote / total_size) * 100 self.progress_var.set(progress) self.update_idletasks() if total_size != 0 and wrote != total_size: self.log_message(f"Fehler beim Herunterladen von {url}: Größe stimmt nicht überein.") raise Exception("Download unvollständig") self.progress_var.set(0) except requests.exceptions.RequestException as e: logging.error(f"Fehler beim Herunterladen der Datei {url}: {e}") self.log_message(f"Fehler beim Herunterladen der Datei {url}: {e}") raise def change_language(self): selected_language = self.current_language.get() self.log_message(f"Sprache gewechselt zu {selected_language}") # Hier können zusätzliche Aktionen hinzugefügt werden, wenn die Sprache gewechselt wird def load_saved_voices(self): SAVED_VOICES_DIR.mkdir(exist_ok=True) self.voice_listbox.delete(0, tk.END) for voice_file in SAVED_VOICES_DIR.glob("*.wav"): voice_name = voice_file.stem self.voice_listbox.insert(tk.END, voice_name) self.speaker_embeddings[voice_name] = str(voice_file) def train_new_voice(self): file_paths = filedialog.askopenfilenames( title="Wählen Sie Audiodateien für das Training aus", filetypes=[("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus")] ) if not file_paths: self.log_message("Keine Audiodateien ausgewählt.") return voice_name = simpledialog.askstring("Stimmenname", "Geben Sie einen Namen für die neue Stimme ein:") if not voice_name: self.log_message("Kein Stimmenname eingegeben.") return if voice_name in self.speaker_embeddings: self.log_message(f"Stimme '{voice_name}' existiert bereits.") messagebox.showwarning("Warnung", f"Stimme '{voice_name}' existiert bereits.") return self.log_message("Stimme wird trainiert...") self.progress_var.set(0) self.btn_replace.config(state=tk.DISABLED) self.disable_all_buttons() def training_thread(): preprocessed_files = [] try: total_files = len(file_paths) for idx, file_path in enumerate(file_paths, 1): preprocessed_path = self.preprocess_audio(file_path) if preprocessed_path: preprocessed_files.append(preprocessed_path) else: self.log_message(f"Überspringe Datei {file_path} aufgrund von Vorverarbeitungsfehlern.") self.progress_var.set((idx / (total_files * 2)) * 100) # Training auf 50% setzen self.update_idletasks() if not preprocessed_files: self.log_message("Keine gültigen Audiodateien für das Training vorhanden.") return # Kombiniere vorverarbeitete Dateien in eine Datei combined_audio = AudioSegment.empty() for preprocessed_file in preprocessed_files: audio_segment = AudioSegment.from_file(preprocessed_file) combined_audio += audio_segment # Speichere kombiniertes Audio save_path = SAVED_VOICES_DIR / f"{voice_name}.wav" combined_audio.export(str(save_path), format="wav") self.speaker_embeddings[voice_name] = str(save_path) self.voice_listbox.insert(tk.END, voice_name) self.log_message(f"Stimme '{voice_name}' wurde erfolgreich erstellt.") self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Training der Stimme: {e}") self.log_message(f"Fehler beim Training der Stimme: {e}") finally: # Temporäre Dateien löschen for preprocessed_file in preprocessed_files: try: os.remove(preprocessed_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{preprocessed_file}': {e}") self.progress_var.set(0) self.enable_all_buttons() self.btn_replace.config(state=tk.NORMAL) threading.Thread(target=training_thread, daemon=True).start() def disable_all_buttons(self): # Deaktiviert alle Buttons, wenn eine Langzeitoperation läuft for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['disabled']) def enable_all_buttons(self): # Aktiviert alle Buttons nach Abschluss einer Langzeitoperation for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['!disabled']) def load_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: try: self.current_embedding = self.speaker_embeddings[selected_voice] self.log_message(f"Stimme '{selected_voice}' wurde geladen.") except Exception as e: logging.error(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def delete_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: confirm = messagebox.askyesno("Bestätigung", f"Möchten Sie die Stimme '{selected_voice}' wirklich löschen?") if confirm: try: os.remove(self.speaker_embeddings[selected_voice]) del self.speaker_embeddings[selected_voice] self.voice_listbox.delete(tk.ACTIVE) self.log_message(f"Stimme '{selected_voice}' wurde gelöscht.") except Exception as e: logging.error(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def preprocess_audio(self, file_path): temp_audio_path = None # Initialisieren try: self.log_message(f"Vorverarbeitung der Audiodatei: {file_path}") mime_type, _ = mimetypes.guess_type(file_path) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") # Extrahieren des Audio-Teils aus der Video-Datei with VideoFileClip(file_path) as video: audio = video.audio temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(temp_audio_path, logger=None) file_path = temp_audio_path # Konvertieren und Laden der Audiodatei sound = AudioSegment.from_file(file_path) sound = sound.set_frame_rate(22050).set_channels(1) temp_processed_fd, preprocessed_path = tempfile.mkstemp(suffix=".wav") os.close(temp_processed_fd) sound.export(preprocessed_path, format="wav") y, sr = librosa.load(preprocessed_path, sr=22050, mono=True) # Überprüfen der Länge if len(y) < sr * 1: # Mindestens 1 Sekunde self.log_message(f"Audiodatei '{file_path}' ist zu kurz. Mindestens 1 Sekunde erforderlich.") os.remove(preprocessed_path) return None # Normalisierung y = librosa.util.normalize(y) # Speichern der normalisierten Audiodaten sf.write(preprocessed_path, y, sr) self.log_message(f"Vorverarbeitung der Audiodatei '{file_path}' abgeschlossen.") return preprocessed_path except Exception as e: logging.error(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") self.log_message(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") return None finally: # Temporäre Dateien löschen if temp_audio_path and os.path.exists(temp_audio_path): try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def synthesize_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return text_to_speak = self.text_entry.get("1.0", tk.END).strip() if not text_to_speak: self.log_message("Bitte geben Sie einen Text ein.") messagebox.showwarning("Warnung", "Kein Text eingegeben.") return # Eingabe bereinigen import re text_to_speak = re.sub(r'[^\w\s.,!?]', '', text_to_speak) self.log_message("Synthese läuft...") self.progress_var.set(0) self.disable_all_buttons() def synthesis_thread(): try: tts_model = self.tts_models.get(self.current_language.get()) if not tts_model: self.log_message("TTS-Modell für die ausgewählte Sprache ist nicht geladen.") messagebox.showerror("Fehler", "TTS-Modell für die ausgewählte Sprache ist nicht verfügbar.") return language_code = self.language_models[self.current_language.get()]["language_code"] # TTS-Einstellungen berücksichtigen rate = self.rate_var.get() pitch = self.pitch_var.get() # Hier muss das TTS-Modell die Rate und Pitch unterstützen # Dies hängt von der verwendeten TTS-Bibliothek ab. Annahme hier: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text_to_speak, speaker_wav=self.current_embedding, language=language_code, file_path=f.name, speed=rate, pitch=pitch ) self.synthesized_audio_path = f.name wave_obj = sa.WaveObject.from_wave_file(self.synthesized_audio_path) play_obj = wave_obj.play() self.preview_wave_obj = wave_obj self.preview_play_obj = play_obj play_obj.wait_done() self.log_message("Synthese abgeschlossen und abgespielt.") self.progress_var.set(100) # Vorschau-Tab aktualisieren self.update_preview(self.synthesized_audio_path) except Exception as e: logging.error(f"Fehler bei der Sprachsynthese: {e}") self.log_message(f"Fehler bei der Sprachsynthese: {e}") messagebox.showerror("Fehler", f"Fehler bei der Sprachsynthese:\n{e}") self.progress_var.set(0) finally: if self.synthesized_audio_path and os.path.exists(self.synthesized_audio_path): os.remove(self.synthesized_audio_path) self.progress_var.set(0) self.enable_all_buttons() threading.Thread(target=synthesis_thread, daemon=True).start() def update_preview(self, audio_path): self.preview_audio_path = audio_path self.log_message(f"Vorschau-Audiodatei aktualisiert: {audio_path}") def select_preview_file(self): file_path = filedialog.askopenfilename( title="Wählen Sie eine Audiodatei zur Vorschau aus", filetypes=[ ("WAV Dateien", "*.wav"), ("MP3 Dateien", "*.mp3"), ("Alle Dateien", "*.*") ] ) if file_path: self.preview_audio_path = file_path self.log_message(f"Vorschau-Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Vorschau-Datei ausgewählt.") def play_preview(self): if not self.preview_audio_path: self.log_message("Keine Vorschau-Datei ausgewählt.") messagebox.showwarning("Warnung", "Keine Datei zur Vorschau ausgewählt.") return try: wave_obj = sa.WaveObject.from_wave_file(self.preview_audio_path) play_obj = wave_obj.play() self.preview_play_obj = play_obj self.log_message("Vorschau abgespielt.") except Exception as e: logging.error(f"Fehler beim Abspielen der Vorschau: {e}") self.log_message(f"Fehler beim Abspielen der Vorschau: {e}") messagebox.showerror("Fehler", f"Fehler beim Abspielen der Vorschau:\n{e}") def stop_preview(self): if self.preview_play_obj and self.preview_play_obj.is_playing(): self.preview_play_obj.stop() self.log_message("Vorschau-Wiedergabe gestoppt.") else: self.log_message("Keine laufende Vorschau-Wiedergabe.") def select_audio_video_file(self): file_path = filedialog.askopenfilename( title="Öffne Audio/Video Datei", filetypes=[ ("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus"), ("Video Dateien", "*.mp4 *.avi *.mov *.mkv"), ("Alle Dateien", "*.*") ] ) if file_path: self.file_to_process = file_path self.log_message(f"Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Datei ausgewählt.") def replace_voice_in_file(self): if not self.file_to_process: self.log_message("Bitte wählen Sie zuerst eine Datei aus.") messagebox.showwarning("Warnung", "Keine Datei ausgewählt.") return selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return if self.current_embedding is None: self.log_message("Keine gültige Stimme geladen.") messagebox.showerror("Fehler", "Keine gültige Stimme geladen.") return self.log_message("Stimmtausch läuft...") self.progress_var.set(0) self.disable_all_buttons() def replace_thread(): temp_files = [] try: total_steps = 8 # Angepasste Anzahl der Schritte current_step = 0 # Audio extrahieren (falls Video) file_ext = os.path.splitext(self.file_to_process)[1].lower() mime_type, _ = mimetypes.guess_type(self.file_to_process) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") with VideoFileClip(self.file_to_process) as video: audio = video.audio temp_audio_fd, audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(audio_path, logger=None) temp_files.append(audio_path) is_video = True else: audio_path = self.file_to_process is_video = False current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Spracherkennung (ASR) self.log_message("Spracherkennung läuft...") language = self.detect_language(audio_path) language_code = self.language_models[language]["language_code"] asr_model = self.asr_models.get(language) tts_model = self.tts_models.get(language) if not asr_model or not tts_model: self.log_message(f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") messagebox.showerror("Fehler", f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") return segments = self.transcribe_audio(audio_path, asr_model) if not segments: raise Exception("Keine Sprache im Audio erkannt.") current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Übersetzung ins Deutsche (falls ausgewählt) if self.translate_var.get() and language == "Englisch": self.log_message("Übersetzung läuft...") try: # Text sammeln text = ' '.join([seg['word'] for seg in segments]) translated_text = GoogleTranslator(source='en', target='de').translate(text) translated_words = translated_text.split() # Übersetzte Wörter den Segmenten zuweisen for idx, seg in enumerate(segments): if idx < len(translated_words): seg['word'] = translated_words[idx] except Exception as e: self.log_message(f"Fehler bei der Übersetzung: {e}") # Fortfahren ohne Übersetzung current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Generiere synthetisierte Audios für jedes Segment self.log_message("Synthese der neuen Stimme läuft...") synthesized_segments = [] for idx, segment in enumerate(segments): text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) temp_files.append(f.name) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) temp_files.append(temp_silence_path) # Fortschritt aktualisieren self.progress_var.set((current_step + (idx / len(segments))) / total_steps * 100) self.update_idletasks() current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() # Zusammensetzen der Audios self.log_message("Zusammenfügen der Audiodateien...") combined = AudioSegment.silent(duration=int(segments[-1]['end'] * 1000)) for segment in synthesized_segments: audio = AudioSegment.from_file(segment['audio_path']) start_ms = int(segment['start'] * 1000) combined = combined.overlay(audio, position=start_ms) output_audio_fd, output_audio_path = tempfile.mkstemp(suffix=".wav") os.close(output_audio_fd) combined.export(output_audio_path, format="wav") temp_files.append(output_audio_path) current_step += 1 self.progress_var.set((current_step / total_steps) * 100) self.update_idletasks() if is_video: # Neues Video mit ersetzter Audiospur erstellen self.log_message("Erstelle neues Video mit ersetzter Audiospur...") with VideoFileClip(self.file_to_process) as video: new_video = video.set_audio(AudioFileClip(output_audio_path)) save_path = filedialog.asksaveasfilename( defaultextension=".mp4", filetypes=[("MP4 Datei", "*.mp4")], title="Speichern Sie die neue Videodatei" ) if save_path: new_video.write_videofile(save_path, logger=None) self.log_message(f"Neues Video gespeichert unter: {save_path}") else: # Neues Audio speichern self.log_message("Speichere die neue Audiodatei...") save_path = filedialog.asksaveasfilename( defaultextension=".wav", filetypes=[("WAV Datei", "*.wav")], title="Speichern Sie die neue Audiodatei" ) if save_path: shutil.move(output_audio_path, save_path) temp_files.remove(output_audio_path) # Bereits verschoben self.log_message(f"Neue Audiodatei gespeichert unter: {save_path}") self.log_message("Stimmtausch abgeschlossen.") self.progress_var.set(100) except Exception as e: logging.error(f"Fehler beim Stimmtausch: {e}") self.log_message(f"Fehler beim Stimmtausch: {e}") messagebox.showerror("Fehler", f"Es ist ein Fehler aufgetreten:\n{str(e)}") self.progress_var.set(0) finally: # Temporäre Dateien löschen for temp_file in temp_files: if os.path.exists(temp_file): try: os.remove(temp_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_file}': {e}") self.enable_all_buttons() threading.Thread(target=replace_thread, daemon=True).start() def detect_language(self, audio_path): try: self.log_message("Erkenne Sprache der Audiodatei...") with wave.open(audio_path, "rb") as wf: if wf.getnchannels() != 1 or wf.getsampwidth() != 2: self.log_message("Konvertiere Audiodatei in Mono und 16-Bit...") sound = AudioSegment.from_file(audio_path) sound = sound.set_channels(1).set_sample_width(2) temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) sound.export(temp_audio_path, format="wav") else: temp_audio_path = audio_path with wave.open(temp_audio_path, "rb") as wf_processed: # Größeren Abschnitt lesen (z.B. 10 Sekunden) frames = wf_processed.getnframes() rate = wf_processed.getframerate() duration = frames / float(rate) if duration > 10: frames_to_read = int(rate * 10) else: frames_to_read = frames data = wf_processed.readframes(frames_to_read) # Initialize recognizers rec_de = KaldiRecognizer(self.asr_models["Deutsch"], rate) rec_en = KaldiRecognizer(self.asr_models["Englisch"], rate) rec_de.SetWords(True) rec_en.SetWords(True) rec_de.AcceptWaveform(data) result_de = json.loads(rec_de.Result()) rec_en.AcceptWaveform(data) result_en = json.loads(rec_en.Result()) score_de = len(result_de.get('text', '').split()) score_en = len(result_en.get('text', '').split()) # Sprache mit dem höheren Score auswählen if score_de > score_en: self.log_message("Sprache Deutsch erkannt.") return "Deutsch" elif score_en > score_de: self.log_message("Sprache Englisch erkannt.") return "Englisch" else: self.log_message("Sprache konnte nicht eindeutig erkannt werden, verwende Standardsprache.") return self.current_language.get() except Exception as e: logging.error(f"Fehler bei der Sprachenerkennung: {e}") self.log_message(f"Fehler bei der Sprachenerkennung: {e}") return self.current_language.get() finally: # Temporäre Dateien löschen if 'temp_audio_path' in locals() and temp_audio_path != audio_path: try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def transcribe_audio(self, audio_path, asr_model): try: with wave.open(audio_path, "rb") as wf: rec = KaldiRecognizer(asr_model, wf.getframerate()) rec.SetWords(True) results = [] while True: data = wf.readframes(4000) if len(data) == 0: break if rec.AcceptWaveform(data): part_result = json.loads(rec.Result()) if 'result' in part_result: results.extend(part_result['result']) final_result = json.loads(rec.FinalResult()) if 'result' in final_result: results.extend(final_result['result']) # Segmente extrahieren segments = [] for word_info in results: word = word_info['word'] start = word_info['start'] end = word_info['end'] segments.append({'word': word, 'start': start, 'end': end}) return segments except Exception as e: logging.error(f"Fehler bei der Transkription: {e}") self.log_message(f"Fehler bei der Transkription: {e}") return [] def synthesize_segments(self, segments, tts_model, language_code): synthesized_segments = [] for segment in segments: text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) return synthesized_segments def synthesize_voice_improved(self): # Platzhalter für weitere Verbesserungen pass # Weitere Implementierungen können hier hinzugefügt werdenif name == "main": app = Speech2SpeechApp() app.mainloop()
- Assistant
Hier ist das überarbeitete Skript mit den gewünschten Verbesserungen und Korrekturen:
import tkinter as tk from tkinter import filedialog, messagebox, ttk, simpledialog from tkinter.ttk import Progressbar from TTS.api import TTS import simpleaudio as sa import tempfile import os import shutil from pathlib import Path import librosa import soundfile as sf import requests import threading from vosk import Model as ASRModel, KaldiRecognizer import json import wave from pydub import AudioSegment from moviepy.editor import VideoFileClip, AudioFileClip import mimetypes from deep_translator import GoogleTranslator import zipfile import logging import configparser # Setup logging logging.basicConfig(level=logging.ERROR, format='%(asctime)s - %(levelname)s - %(message)s') # Constants for directories and model URLs MODELS_DIR = Path("models") SAVED_VOICES_DIR = Path("saved_voices") ASR_MODEL_URLS = { "Deutsch": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "Englisch": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", } TTS_MODEL_NAMES = { "Deutsch": "tts_models/de/thorsten/tacotron2-DCA", "Englisch": "tts_models/en/ljspeech/tacotron2-DDC", } LANGUAGE_CODES = { "Deutsch": "de", "Englisch": "en", } # ToolTip Klasse (einmal definiert) class ToolTip: def __init__(self, widget, text): self.widget = widget self.text = text self.tooltip_window = None if hasattr(self.widget, "bbox"): self.widget.bind("<Enter>", self.show_tooltip) self.widget.bind("<Leave>", self.hide_tooltip) else: print("Das Widget unterstützt keine Tooltips.") def show_tooltip(self, event=None): if self.tooltip_window or not self.text: return x, y, cx, cy = 0, 0, 0, 0 if hasattr(self.widget, "bbox"): bbox = self.widget.bbox("insert") if bbox: x, y, cx, cy = bbox else: x, y = self.widget.winfo_rootx() + 25, self.widget.winfo_rooty() + 20 self.tooltip_window = tw = tk.Toplevel(self.widget) tw.wm_overrideredirect(True) tw.wm_geometry(f"+{self.widget.winfo_rootx()+25}+{self.widget.winfo_rooty()+20}") label = tk.Label(tw, text=self.text, justify='left', background="#ffffe0", relief='solid', borderwidth=1, font=("Arial", "10", "normal")) label.pack(ipadx=1) def hide_tooltip(self, event=None): tw = self.tooltip_window self.tooltip_window = None if tw: tw.destroy() class Speech2SpeechApp(tk.Tk): def __init__(self): super().__init__() self.progress_var = tk.DoubleVar() self.status_var = tk.StringVar() self.title("Speech2Speech Anwendung") self.geometry("1000x700") self.style = ttk.Style(self) self.style.theme_use('clam') # Modernes Theme self.audio_sample_paths = [] # Liste gespeicherter Stimmen self.speaker_embeddings = {} # Dictionary für Sprecher-Audiodateien self.current_embedding = None self.synthesized_audio_path = None self.current_language = tk.StringVar() self.current_language.set("Deutsch") # Standardwert self.asr_models = {} self.tts_models = {} self.language_models = { "Deutsch": { "tts_model_name": "tts_models/de/thorsten/tacotron2-DCA", "asr_model_path": MODELS_DIR / "vosk-model-small-de-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip", "language_code": "de", }, "Englisch": { "tts_model_name": "tts_models/en/ljspeech/tacotron2-DDC", "asr_model_path": MODELS_DIR / "vosk-model-small-en-us-0.15", "asr_model_url": "https://alphacephei.com/vosk/models/vosk-model-small-en-us-0.15.zip", "language_code": "en", } # Weitere Sprachen können hier hinzugefügt werden } self.file_to_process = None # Initialisierung der Datei-Variable # Einstellungen laden self.config = configparser.ConfigParser() self.config_file = 'settings.ini' if os.path.exists(self.config_file): self.config.read(self.config_file) self.first_run = self.config.getboolean('General', 'first_run', fallback=True) else: self.first_run = True self.create_menu() self.create_tabs() self.create_status_bar() # Initialisierung self.load_saved_voices() self.after(100, self.ensure_models) # Lade Modelle nach dem UI-Aufbau # Farben für Fortschrittsbalken self.progress_bar_colors = ['#6699CC', '#66CC99', '#CC6699', '#FFCC66', '#66FFCC'] def create_menu(self): menubar = tk.Menu(self) self.config(menu=menubar) # Datei-Menü file_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Datei", menu=file_menu) file_menu.add_command(label="Datei öffnen", command=self.select_audio_video_file) file_menu.add_separator() file_menu.add_command(label="Beenden", command=self.quit) # Einstellungen-Menü settings_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Einstellungen", menu=settings_menu) settings_menu.add_command(label="Sprache ändern", command=self.change_language) settings_menu.add_command(label="Modelle herunterladen", command=self.show_download_models_popup) # Hilfe-Menü help_menu = tk.Menu(menubar, tearoff=0) menubar.add_cascade(label="Hilfe", menu=help_menu) help_menu.add_command(label="Über", command=self.show_about) def show_about(self): messagebox.showinfo("Über", "Speech2Speech Anwendung\nVersion 1.0\nEntwickelt von Ihrem Namen") def create_tabs(self): self.tabs = ttk.Notebook(self) self.tabs.pack(expand=1, fill='both') # Tab 1: Stimmenverwaltung self.tab_voices = ttk.Frame(self.tabs) self.tabs.add(self.tab_voices, text="Stimmenverwaltung") self.create_voice_tab() # Tab 2: Text Synthese self.tab_synthesize = ttk.Frame(self.tabs) self.tabs.add(self.tab_synthesize, text="Text Synthese") self.create_synthesize_tab() # Tab 3: Stimmtausch self.tab_replace = ttk.Frame(self.tabs) self.tabs.add(self.tab_replace, text="Stimmtausch") self.create_replace_tab() # Tab 4: Einstellungen self.tab_settings = ttk.Frame(self.tabs) self.tabs.add(self.tab_settings, text="Einstellungen") self.create_settings_tab() # Tab 5: Vorschau self.tab_preview = ttk.Frame(self.tabs) self.tabs.add(self.tab_preview, text="Vorschau") self.create_preview_tab() def create_voice_tab(self): # Stimmenverwaltung UI frame = ttk.LabelFrame(self.tab_voices, text="Verfügbare Stimmen") frame.pack(fill='both', expand=True, padx=10, pady=10) # Listbox für Stimmen self.voice_listbox = tk.Listbox(frame, height=20) self.voice_listbox.pack(side=tk.LEFT, fill='both', expand=True, padx=(10, 5), pady=10) # Scrollbar für Listbox scrollbar = ttk.Scrollbar(frame, orient="vertical", command=self.voice_listbox.yview) scrollbar.pack(side=tk.LEFT, fill='y', pady=10) self.voice_listbox.config(yscrollcommand=scrollbar.set) # Buttons für Laden, Löschen und Trainieren button_frame = ttk.Frame(frame) button_frame.pack(side=tk.LEFT, fill='y', padx=5, pady=10) btn_load = ttk.Button(button_frame, text="Laden", command=self.load_voice) btn_load.pack(fill='x', pady=5) ToolTip(btn_load, "Lädt die ausgewählte Stimme.") btn_delete = ttk.Button(button_frame, text="Löschen", command=self.delete_voice) btn_delete.pack(fill='x', pady=5) ToolTip(btn_delete, "Löscht die ausgewählte Stimme.") btn_train = ttk.Button(button_frame, text="Neue Stimme trainieren", command=self.train_new_voice) btn_train.pack(fill='x', pady=5) ToolTip(btn_train, "Trainiert eine neue Stimme mit ausgewählten Audiodateien.") def create_synthesize_tab(self): # Text Synthese UI frame = ttk.LabelFrame(self.tab_synthesize, text="Text Synthese") frame.pack(fill='both', padx=10, pady=10, expand=True) # Text-Eingabe lbl_text = ttk.Label(frame, text="Geben Sie den zu synthetisierenden Text ein:") lbl_text.pack(pady=5, anchor='w', padx=10) self.text_entry = tk.Text(frame, width=80, height=10) self.text_entry.pack(pady=5, padx=10) # Beispieltexte example_frame = ttk.Frame(frame) example_frame.pack(pady=5, padx=10, anchor='w') lbl_example = ttk.Label(example_frame, text="Beispieltexte:") lbl_example.pack(side=tk.LEFT, padx=5) btn_example1 = ttk.Button(example_frame, text="Beispiel 1", command=lambda: self.insert_example_text(1)) btn_example1.pack(side=tk.LEFT, padx=2) ToolTip(btn_example1, "Fügt Beispieltext 1 in das Textfeld ein.") btn_example2 = ttk.Button(example_frame, text="Beispiel 2", command=lambda: self.insert_example_text(2)) btn_example2.pack(side=tk.LEFT, padx=2) ToolTip(btn_example2, "Fügt Beispieltext 2 in das Textfeld ein.") # Rate und Pitch Einstellungen settings_frame = ttk.Frame(frame) settings_frame.pack(pady=10, padx=10, anchor='w') lbl_rate = ttk.Label(settings_frame, text="Sprechgeschwindigkeit:") lbl_rate.grid(row=0, column=0, padx=5, pady=5, sticky='w') self.rate_var = tk.DoubleVar(value=1.0) rate_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.rate_var, orient='horizontal') rate_scale.grid(row=0, column=1, padx=5, pady=5, sticky='ew') ToolTip(rate_scale, "Stellt die Sprechgeschwindigkeit ein.") lbl_pitch = ttk.Label(settings_frame, text="Tonhöhe:") lbl_pitch.grid(row=1, column=0, padx=5, pady=5, sticky='w') self.pitch_var = tk.DoubleVar(value=1.0) pitch_scale = ttk.Scale(settings_frame, from_=0.5, to=2.0, variable=self.pitch_var, orient='horizontal') pitch_scale.grid(row=1, column=1, padx=5, pady=5, sticky='ew') ToolTip(pitch_scale, "Stellt die Tonhöhe ein.") settings_frame.columnconfigure(1, weight=1) # Synthese-Button btn_synthesize = ttk.Button(frame, text="Synthetisieren", command=self.synthesize_voice) btn_synthesize.pack(pady=10, padx=10, anchor='e') ToolTip(btn_synthesize, "Synthesiert den eingegebenen Text mit der ausgewählten Stimme.") def create_replace_tab(self): # Stimmtausch UI frame = ttk.LabelFrame(self.tab_replace, text="Stimmtausch in Dateien") frame.pack(fill='both', padx=10, pady=10, expand=True) # Datei auswählen btn_select_file = ttk.Button(frame, text="Audio-/Videodatei auswählen", command=self.select_audio_video_file) btn_select_file.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_file, "Wählen Sie die Audio- oder Videodatei aus, in der die Stimme ersetzt werden soll.") # Übersetzungsoption self.translate_var = tk.BooleanVar() chk_translate = ttk.Checkbutton(frame, text="Englische Sprache ins Deutsche übersetzen", variable=self.translate_var) chk_translate.pack(pady=5, padx=10, anchor='w') ToolTip(chk_translate, "Falls aktiviert, wird englischer Text ins Deutsche übersetzt.") # Stimme ersetzen Button self.btn_replace = ttk.Button(frame, text="Stimme in Datei ersetzen", command=self.replace_voice_in_file) self.btn_replace.pack(pady=5, padx=10, anchor='w') ToolTip(self.btn_replace, "Ersetzt die Stimme in der ausgewählten Datei durch die aktuell geladene Stimme.") def create_settings_tab(self): # Einstellungen UI frame = ttk.LabelFrame(self.tab_settings, text="Einstellungen") frame.pack(fill='both', padx=10, pady=10, expand=True) # Spracheinstellungen language_frame = ttk.Frame(frame) language_frame.pack(pady=5, padx=10, anchor='w') lbl_language = ttk.Label(language_frame, text="Sprache:") lbl_language.pack(side=tk.LEFT, padx=5) language_options = list(self.language_models.keys()) language_option = ttk.OptionMenu(language_frame, self.current_language, self.current_language.get(), *language_options) language_option.pack(side=tk.LEFT, padx=2) ToolTip(language_option, "Wähle die Sprache für die Textsynthese.") # Audio-Einstellungen audio_frame = ttk.Frame(frame) audio_frame.pack(pady=5, padx=10, anchor='w') lbl_audio = ttk.Label(audio_frame, text="Audioformat:") lbl_audio.pack(side=tk.LEFT, padx=5) self.audio_var = tk.StringVar() self.audio_var.set("wav") # Standardwert audio_option = ttk.OptionMenu(audio_frame, self.audio_var, "wav", "mp3") audio_option.pack(side=tk.LEFT, padx=2) ToolTip(audio_option, "Wähle das Audioformat für die Textsynthese.") def create_preview_tab(self): # Vorschau UI frame = ttk.LabelFrame(self.tab_preview, text="Vorschau") frame.pack(fill='both', padx=10, pady=10, expand=True) # Auswahl der Vorschau-Audiodatei btn_select_preview = ttk.Button(frame, text="Audiodatei zur Vorschau auswählen", command=self.select_preview_file) btn_select_preview.pack(pady=5, padx=10, anchor='w') ToolTip(btn_select_preview, "Wählen Sie eine Audiodatei aus, um eine Vorschau anzuhören.") # Vorschau-Player self.preview_controls = ttk.Frame(frame) self.preview_controls.pack(pady=10) btn_play_preview = ttk.Button(self.preview_controls, text="Abspielen", command=self.play_preview) btn_play_preview.grid(row=0, column=0, padx=5) ToolTip(btn_play_preview, "Spielt die ausgewählte Audiodatei ab.") btn_stop_preview = ttk.Button(self.preview_controls, text="Stoppen", command=self.stop_preview) btn_stop_preview.grid(row=0, column=1, padx=5) ToolTip(btn_stop_preview, "Stoppt die Wiedergabe der Audiodatei.") self.preview_play_obj = None self.preview_audio_path = None def create_status_bar(self): # Statusleiste am unteren Rand status_frame = ttk.Frame(self) status_frame.pack(fill='x', side='bottom') # Frame für Fortschrittsbalken self.progress_bars_frame = tk.Frame(status_frame) self.progress_bars_frame.pack(fill='x', padx=10, pady=2) self.progress_bars = [] # Liste der aktiven Fortschrittsbalken self.message_text = tk.Text(status_frame, height=4, state=tk.DISABLED) self.message_text.pack(fill='x', padx=10, pady=2) def add_progress_bar(self): # Erstellen eines neuen Fortschrittsbalkens pb_var = tk.DoubleVar() pb_style = ttk.Style() index = len(self.progress_bars) % len(self.progress_bar_colors) color = self.progress_bar_colors[index] style_name = f"Custom.Horizontal.TProgressbar{len(self.progress_bars)}" # Konfiguration des Stils mit angepasster Farbe pb_style.configure(style_name, troughcolor='white', background=color) pb = ttk.Progressbar(self.progress_bars_frame, variable=pb_var, maximum=100, style=style_name) pb.pack(fill='x', padx=0, pady=1) self.progress_bars.append({'bar': pb, 'var': pb_var, 'style': pb_style}) return pb_var # Rückgabe der Variable zum Aktualisieren des Fortschritts def remove_progress_bar(self, pb_var): for pb_dict in self.progress_bars: if pb_dict['var'] == pb_var: pb_dict['bar'].destroy() self.progress_bars.remove(pb_dict) break def insert_example_text(self, example_number): examples = { 1: "Dies ist ein Beispieltext für die Sprachsynthese.", 2: "Willkommen bei der verbesserten Speech2Speech Anwendung!" } self.text_entry.delete("1.0", tk.END) self.text_entry.insert(tk.END, examples.get(example_number, "")) def log_message(self, message): self.status_var.set(message) self.message_text.config(state=tk.NORMAL) self.message_text.insert(tk.END, message + "\n") self.message_text.see(tk.END) self.message_text.config(state=tk.DISABLED) self.update_idletasks() def ensure_models(self): if self.first_run: self.show_first_run_popup() else: # Lade TTS-Modelle und ASR-Modelle in separaten Threads threading.Thread(target=self.load_tts_models, daemon=True).start() threading.Thread(target=self.load_asr_models, daemon=True).start() def show_first_run_popup(self): # Erstes Start-Popup anzeigen popup = tk.Toplevel(self) popup.title("Erster Start - Modelle herunterladen") popup.grab_set() # Modal machen tk.Label(popup, text="Willkommen zum ersten Start! Bitte wählen Sie die Modelle, die Sie einrichten möchten:").pack(pady=10) # Variablen zur Speicherung der Auswahlen self.model_selections = {} # Liste verfügbarer Modelle model_options = [] for language in self.language_models: model_options.append((f"TTS Modell für {language}", f"tts_{language}")) model_options.append((f"ASR Modell für {language}", f"asr_{language}")) # Checkbuttons für jedes Modell for model_name, model_key in model_options: var = tk.BooleanVar(value=False) self.model_selections[model_key] = var tk.Checkbutton(popup, text=model_name, variable=var).pack(anchor='w') # Funktion für den OK-Button def on_ok(): # Überprüfen der ausgewählten Modelle selected_models = [key for key, var in self.model_selections.items() if var.get()] # Überprüfen, ob mindestens ein TTS- und ASR-Modell ausgewählt wurde selected_languages = set() for key in selected_models: kind, lang = key.split('_') selected_languages.add(lang) if not selected_languages: messagebox.showerror("Fehler", "Bitte wählen Sie mindestens die erforderlichen Modelle für eine Sprache aus.") return else: # Auswahlen speichern und fortfahren self.selected_models_to_download = selected_models # first_run auf False setzen und in Einstellungen speichern self.first_run = False if 'General' not in self.config: self.config.add_section('General') self.config.set('General', 'first_run', 'False') with open(self.config_file, 'w') as configfile: self.config.write(configfile) popup.destroy() # Ausgewählte Modelle herunterladen self.download_selected_models() tk.Button(popup, text="OK", command=on_ok).pack(pady=10) def show_download_models_popup(self): # Modelle herunterladen Popup anzeigen popup = tk.Toplevel(self) popup.title("Modelle herunterladen") popup.grab_set() # Modal machen tk.Label(popup, text="Wählen Sie die Modelle aus, die Sie herunterladen möchten:").pack(pady=10) # Variablen zur Speicherung der Auswahlen self.model_selections = {} # Liste verfügbarer Modelle model_options = [] for language in self.language_models: model_options.append((f"TTS Modell für {language}", f"tts_{language}")) model_options.append((f"ASR Modell für {language}", f"asr_{language}")) # Checkbuttons für jedes Modell for model_name, model_key in model_options: var = tk.BooleanVar(value=False) self.model_selections[model_key] = var tk.Checkbutton(popup, text=model_name, variable=var).pack(anchor='w') def on_ok(): # Überprüfen der ausgewählten Modelle selected_models = [key for key, var in self.model_selections.items() if var.get()] if not selected_models: messagebox.showerror("Fehler", "Bitte wählen Sie mindestens ein Modell aus.") return else: # Auswahlen speichern und fortfahren self.selected_models_to_download = selected_models popup.destroy() # Ausgewählte Modelle herunterladen self.download_selected_models() tk.Button(popup, text="OK", command=on_ok).pack(pady=10) def download_selected_models(self): # Ausgewählte Modelle herunterladen for key in self.selected_models_to_download: kind, lang = key.split('_') if kind == 'tts': threading.Thread(target=self.load_tts_model, args=(lang,), daemon=True).start() elif kind == 'asr': threading.Thread(target=self.load_asr_model, args=(lang,), daemon=True).start() def load_tts_models(self): for language in self.language_models: self.load_tts_model(language) def load_tts_model(self, language): self.log_message(f"Lade TTS-Modell für {language}...") pb_var = self.add_progress_bar() try: paths = self.language_models[language] tts_model_name = paths["tts_model_name"] if tts_model_name: self.tts_models[language] = TTS(model_name=tts_model_name) self.log_message(f"TTS-Modell für {language} geladen.") else: self.log_message(f"Kein TTS-Modellname für {language} definiert.") pb_var.set(100) except Exception as e: logging.error(f"Fehler beim Laden des TTS-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des TTS-Modells für {language}: {e}") finally: self.remove_progress_bar(pb_var) def load_asr_models(self): for language in self.language_models: self.load_asr_model(language) def load_asr_model(self, language): paths = self.language_models[language] asr_model_path = paths["asr_model_path"] pb_var = self.add_progress_bar() if not asr_model_path.exists(): self.download_asr_model(language, asr_model_path, pb_var) else: self.log_message(f"ASR-Modell für {language} ist bereits vorhanden.") try: self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} geladen.") pb_var.set(100) except Exception as e: logging.error(f"Fehler beim Laden des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Laden des ASR-Modells für {language}: {e}") finally: self.remove_progress_bar(pb_var) self.log_message(f"ASR-Modell für {language} ist bereit.") def download_asr_model(self, language, asr_model_path, pb_var): self.log_message(f"ASR-Modell für {language} wird heruntergeladen...") try: url = self.language_models[language]["asr_model_url"] model_zip_path = MODELS_DIR / f"asr_model_{language}.zip" MODELS_DIR.mkdir(parents=True, exist_ok=True) self.download_file(url, model_zip_path, pb_var) # Entpacken des Modells with zipfile.ZipFile(model_zip_path, 'r') as zip_ref: zip_ref.extractall(MODELS_DIR) os.remove(model_zip_path) if asr_model_path.exists(): self.asr_models[language] = ASRModel(str(asr_model_path)) self.log_message(f"ASR-Modell für {language} erfolgreich heruntergeladen und eingerichtet.") else: raise Exception(f"ASR-Modellpfad {asr_model_path} existiert nach dem Entpacken nicht.") except Exception as e: logging.error(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") self.log_message(f"Fehler beim Herunterladen des ASR-Modells für {language}: {e}") finally: self.remove_progress_bar(pb_var) def download_file(self, url, dest_path, pb_var): try: with requests.get(url, stream=True) as response: response.raise_for_status() total_size = int(response.headers.get('content-length', 0)) block_size = 1024 # 1KB wrote = 0 with open(dest_path, 'wb') as f: for data in response.iter_content(block_size): wrote += len(data) f.write(data) if total_size > 0: progress = (wrote / total_size) * 100 pb_var.set(progress) self.update_idletasks() if total_size != 0 and wrote != total_size: self.log_message(f"Fehler beim Herunterladen von {url}: Größe stimmt nicht überein.") raise Exception("Download unvollständig") pb_var.set(100) except requests.exceptions.RequestException as e: logging.error(f"Fehler beim Herunterladen der Datei {url}: {e}") self.log_message(f"Fehler beim Herunterladen der Datei {url}: {e}") raise def change_language(self): selected_language = self.current_language.get() self.log_message(f"Sprache gewechselt zu {selected_language}") # Hier können zusätzliche Aktionen hinzugefügt werden, wenn die Sprache gewechselt wird def load_saved_voices(self): SAVED_VOICES_DIR.mkdir(exist_ok=True) self.voice_listbox.delete(0, tk.END) for voice_file in SAVED_VOICES_DIR.glob("*.wav"): voice_name = voice_file.stem self.voice_listbox.insert(tk.END, voice_name) self.speaker_embeddings[voice_name] = str(voice_file) def train_new_voice(self): file_paths = filedialog.askopenfilenames( title="Wählen Sie Audiodateien für das Training aus", filetypes=[("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus")] ) if not file_paths: self.log_message("Keine Audiodateien ausgewählt.") return voice_name = simpledialog.askstring("Stimmenname", "Geben Sie einen Namen für die neue Stimme ein:") if not voice_name: self.log_message("Kein Stimmenname eingegeben.") return if voice_name in self.speaker_embeddings: self.log_message(f"Stimme '{voice_name}' existiert bereits.") messagebox.showwarning("Warnung", f"Stimme '{voice_name}' existiert bereits.") return self.log_message("Stimme wird trainiert...") pb_var = self.add_progress_bar() self.btn_replace.config(state=tk.DISABLED) self.disable_all_buttons() def training_thread(): preprocessed_files = [] try: total_files = len(file_paths) for idx, file_path in enumerate(file_paths, 1): preprocessed_path = self.preprocess_audio(file_path) if preprocessed_path: preprocessed_files.append(preprocessed_path) else: self.log_message(f"Überspringe Datei {file_path} aufgrund von Vorverarbeitungsfehlern.") pb_var.set((idx / (total_files * 2)) * 100) # Training auf 50% setzen self.update_idletasks() if not preprocessed_files: self.log_message("Keine gültigen Audiodateien für das Training vorhanden.") return # Kombiniere vorverarbeitete Dateien in eine Datei combined_audio = AudioSegment.empty() for preprocessed_file in preprocessed_files: audio_segment = AudioSegment.from_file(preprocessed_file) combined_audio += audio_segment # Speichere kombiniertes Audio save_path = SAVED_VOICES_DIR / f"{voice_name}.wav" combined_audio.export(str(save_path), format="wav") self.speaker_embeddings[voice_name] = str(save_path) self.voice_listbox.insert(tk.END, voice_name) self.log_message(f"Stimme '{voice_name}' wurde erfolgreich erstellt.") pb_var.set(100) except Exception as e: logging.error(f"Fehler beim Training der Stimme: {e}") self.log_message(f"Fehler beim Training der Stimme: {e}") finally: # Temporäre Dateien löschen for preprocessed_file in preprocessed_files: try: os.remove(preprocessed_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{preprocessed_file}': {e}") self.remove_progress_bar(pb_var) self.enable_all_buttons() self.btn_replace.config(state=tk.NORMAL) threading.Thread(target=training_thread, daemon=True).start() def disable_all_buttons(self): # Deaktiviert alle Buttons, wenn eine Langzeitoperation läuft for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['disabled']) def enable_all_buttons(self): # Aktiviert alle Buttons nach Abschluss einer Langzeitoperation for tab in [self.tab_voices, self.tab_synthesize, self.tab_replace, self.tab_settings, self.tab_preview]: for child in tab.winfo_children(): if isinstance(child, ttk.Button): child.state(['!disabled']) def load_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: try: self.current_embedding = self.speaker_embeddings[selected_voice] self.log_message(f"Stimme '{selected_voice}' wurde geladen.") except Exception as e: logging.error(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Laden der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def delete_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if selected_voice: confirm = messagebox.askyesno("Bestätigung", f"Möchten Sie die Stimme '{selected_voice}' wirklich löschen?") if confirm: try: os.remove(self.speaker_embeddings[selected_voice]) del self.speaker_embeddings[selected_voice] self.voice_listbox.delete(tk.ACTIVE) self.log_message(f"Stimme '{selected_voice}' wurde gelöscht.") except Exception as e: logging.error(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") self.log_message(f"Fehler beim Löschen der Stimme '{selected_voice}': {e}") else: self.log_message("Keine Stimme ausgewählt.") def preprocess_audio(self, file_path): temp_audio_path = None # Initialisieren try: self.log_message(f"Vorverarbeitung der Audiodatei: {file_path}") mime_type, _ = mimetypes.guess_type(file_path) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") # Extrahieren des Audio-Teils aus der Video-Datei with VideoFileClip(file_path) as video: audio = video.audio temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(temp_audio_path, logger=None) file_path = temp_audio_path # Konvertieren und Laden der Audiodatei sound = AudioSegment.from_file(file_path) sound = sound.set_frame_rate(22050).set_channels(1) temp_processed_fd, preprocessed_path = tempfile.mkstemp(suffix=".wav") os.close(temp_processed_fd) sound.export(preprocessed_path, format="wav") y, sr = librosa.load(preprocessed_path, sr=22050, mono=True) # Überprüfen der Länge if len(y) < sr * 1: # Mindestens 1 Sekunde self.log_message(f"Audiodatei '{file_path}' ist zu kurz. Mindestens 1 Sekunde erforderlich.") os.remove(preprocessed_path) return None # Normalisierung y = librosa.util.normalize(y) # Speichern der normalisierten Audiodaten sf.write(preprocessed_path, y, sr) self.log_message(f"Vorverarbeitung der Audiodatei '{file_path}' abgeschlossen.") return preprocessed_path except Exception as e: logging.error(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") self.log_message(f"Fehler bei der Vorverarbeitung der Audiodatei '{file_path}': {e}") return None finally: # Temporäre Dateien löschen if temp_audio_path and os.path.exists(temp_audio_path): try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def synthesize_voice(self): selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return text_to_speak = self.text_entry.get("1.0", tk.END).strip() if not text_to_speak: self.log_message("Bitte geben Sie einen Text ein.") messagebox.showwarning("Warnung", "Kein Text eingegeben.") return # Eingabe bereinigen import re text_to_speak = re.sub(r'[^\w\s.,!?]', '', text_to_speak) self.log_message("Synthese läuft...") pb_var = self.add_progress_bar() self.disable_all_buttons() def synthesis_thread(): try: tts_model = self.tts_models.get(self.current_language.get()) if not tts_model: self.log_message("TTS-Modell für die ausgewählte Sprache ist nicht geladen.") messagebox.showerror("Fehler", "TTS-Modell für die ausgewählte Sprache ist nicht verfügbar.") return language_code = self.language_models[self.current_language.get()]["language_code"] # TTS-Einstellungen berücksichtigen rate = self.rate_var.get() pitch = self.pitch_var.get() # Hier muss das TTS-Modell die Rate und Pitch unterstützen # Dies hängt von der verwendeten TTS-Bibliothek ab. with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text_to_speak, speaker_wav=self.current_embedding, language=language_code, file_path=f.name, speed=rate, pitch=pitch ) self.synthesized_audio_path = f.name wave_obj = sa.WaveObject.from_wave_file(self.synthesized_audio_path) play_obj = wave_obj.play() self.preview_play_obj = play_obj play_obj.wait_done() self.log_message("Synthese abgeschlossen und abgespielt.") pb_var.set(100) # Vorschau-Tab aktualisieren self.update_preview(self.synthesized_audio_path) except Exception as e: logging.error(f"Fehler bei der Sprachsynthese: {e}") self.log_message(f"Fehler bei der Sprachsynthese: {e}") messagebox.showerror("Fehler", f"Fehler bei der Sprachsynthese:\n{e}") pb_var.set(0) finally: if self.synthesized_audio_path and os.path.exists(self.synthesized_audio_path): os.remove(self.synthesized_audio_path) pb_var.set(100) self.remove_progress_bar(pb_var) self.enable_all_buttons() threading.Thread(target=synthesis_thread, daemon=True).start() def update_preview(self, audio_path): self.preview_audio_path = audio_path self.log_message(f"Vorschau-Audiodatei aktualisiert: {audio_path}") def select_preview_file(self): file_path = filedialog.askopenfilename( title="Wählen Sie eine Audiodatei zur Vorschau aus", filetypes=[ ("WAV Dateien", "*.wav"), ("MP3 Dateien", "*.mp3"), ("Alle Dateien", "*.*") ] ) if file_path: self.preview_audio_path = file_path self.log_message(f"Vorschau-Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Vorschau-Datei ausgewählt.") def play_preview(self): if not self.preview_audio_path: self.log_message("Keine Vorschau-Datei ausgewählt.") messagebox.showwarning("Warnung", "Keine Datei zur Vorschau ausgewählt.") return try: wave_obj = sa.WaveObject.from_wave_file(self.preview_audio_path) play_obj = wave_obj.play() self.preview_play_obj = play_obj self.log_message("Vorschau abgespielt.") except Exception as e: logging.error(f"Fehler beim Abspielen der Vorschau: {e}") self.log_message(f"Fehler beim Abspielen der Vorschau: {e}") messagebox.showerror("Fehler", f"Fehler beim Abspielen der Vorschau:\n{e}") def stop_preview(self): if self.preview_play_obj and self.preview_play_obj.is_playing(): self.preview_play_obj.stop() self.log_message("Vorschau-Wiedergabe gestoppt.") else: self.log_message("Keine laufende Vorschau-Wiedergabe.") def select_audio_video_file(self): file_path = filedialog.askopenfilename( title="Öffne Audio/Video Datei", filetypes=[ ("Audio Dateien", "*.wav *.mp3 *.flac *.ogg *.opus"), ("Video Dateien", "*.mp4 *.avi *.mov *.mkv"), ("Alle Dateien", "*.*") ] ) if file_path: self.file_to_process = file_path self.log_message(f"Datei ausgewählt: {os.path.basename(file_path)}") else: self.log_message("Keine Datei ausgewählt.") def replace_voice_in_file(self): if not self.file_to_process: self.log_message("Bitte wählen Sie zuerst eine Datei aus.") messagebox.showwarning("Warnung", "Keine Datei ausgewählt.") return selected_voice = self.voice_listbox.get(tk.ACTIVE) if not selected_voice: self.log_message("Bitte wählen Sie eine Stimme aus.") messagebox.showwarning("Warnung", "Keine Stimme ausgewählt.") return if self.current_embedding is None: self.log_message("Keine gültige Stimme geladen.") messagebox.showerror("Fehler", "Keine gültige Stimme geladen.") return self.log_message("Stimmtausch läuft...") pb_var = self.add_progress_bar() self.disable_all_buttons() def replace_thread(): temp_files = [] try: total_steps = 8 # Angepasste Anzahl der Schritte current_step = 0 # Audio extrahieren (falls Video) file_ext = os.path.splitext(self.file_to_process)[1].lower() mime_type, _ = mimetypes.guess_type(self.file_to_process) if mime_type and mime_type.startswith('video'): self.log_message("Video-Datei erkannt, extrahiere Audio...") with VideoFileClip(self.file_to_process) as video: audio = video.audio temp_audio_fd, audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) audio.write_audiofile(audio_path, logger=None) temp_files.append(audio_path) is_video = True else: audio_path = self.file_to_process is_video = False current_step += 1 pb_var.set((current_step / total_steps) * 100) self.update_idletasks() # Spracherkennung (ASR) self.log_message("Spracherkennung läuft...") language = self.detect_language(audio_path) language_code = self.language_models[language]["language_code"] asr_model = self.asr_models.get(language) tts_model = self.tts_models.get(language) if not asr_model or not tts_model: self.log_message(f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") messagebox.showerror("Fehler", f"ASR- oder TTS-Modell für {language} ist nicht verfügbar.") return segments = self.transcribe_audio(audio_path, asr_model) if not segments: raise Exception("Keine Sprache im Audio erkannt.") current_step += 1 pb_var.set((current_step / total_steps) * 100) self.update_idletasks() # Übersetzung ins Deutsche (falls ausgewählt) if self.translate_var.get() and language == "Englisch": self.log_message("Übersetzung läuft...") try: # Text sammeln text = ' '.join([seg['word'] for seg in segments]) translated_text = GoogleTranslator(source='en', target='de').translate(text) translated_words = translated_text.split() # Übersetzte Wörter den Segmenten zuweisen for idx, seg in enumerate(segments): if idx < len(translated_words): seg['word'] = translated_words[idx] except Exception as e: self.log_message(f"Fehler bei der Übersetzung: {e}") # Fortfahren ohne Übersetzung current_step += 1 pb_var.set((current_step / total_steps) * 100) self.update_idletasks() # Generiere synthetisierte Audios für jedes Segment self.log_message("Synthese der neuen Stimme läuft...") synthesized_segments = [] for idx, segment in enumerate(segments): text = segment['word'] if not text.strip(): continue # Leere Segmente überspringen try: with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f: tts_model.tts_to_file( text=text, speaker_wav=self.current_embedding, language=language_code, file_path=f.name ) synthesized_segments.append({'audio_path': f.name, 'start': segment['start'], 'end': segment['end']}) temp_files.append(f.name) except Exception as e: self.log_message(f"Fehler bei der Synthese von '{text}': {e}") # Stille einfügen silence_duration = max(int((segment['end'] - segment['start']) * 1000), 100) # mindestens 100ms silence = AudioSegment.silent(duration=silence_duration) temp_silence_fd, temp_silence_path = tempfile.mkstemp(suffix=".wav") os.close(temp_silence_fd) silence.export(temp_silence_path, format="wav") synthesized_segments.append({'audio_path': temp_silence_path, 'start': segment['start'], 'end': segment['end']}) temp_files.append(temp_silence_path) # Fortschritt aktualisieren pb_var.set((current_step + (idx / len(segments))) / total_steps * 100) self.update_idletasks() current_step += 1 pb_var.set((current_step / total_steps) * 100) self.update_idletasks() # Zusammensetzen der Audios self.log_message("Zusammenfügen der Audiodateien...") combined = AudioSegment.silent(duration=int(segments[-1]['end'] * 1000)) for segment in synthesized_segments: audio = AudioSegment.from_file(segment['audio_path']) start_ms = int(segment['start'] * 1000) combined = combined.overlay(audio, position=start_ms) output_audio_fd, output_audio_path = tempfile.mkstemp(suffix=".wav") os.close(output_audio_fd) combined.export(output_audio_path, format="wav") temp_files.append(output_audio_path) current_step += 1 pb_var.set((current_step / total_steps) * 100) self.update_idletasks() if is_video: # Neues Video mit ersetzter Audiospur erstellen self.log_message("Erstelle neues Video mit ersetzter Audiospur...") with VideoFileClip(self.file_to_process) as video: new_video = video.set_audio(AudioFileClip(output_audio_path)) save_path = filedialog.asksaveasfilename( defaultextension=".mp4", filetypes=[("MP4 Datei", "*.mp4")], title="Speichern Sie die neue Videodatei" ) if save_path: new_video.write_videofile(save_path, logger=None) self.log_message(f"Neues Video gespeichert unter: {save_path}") else: # Neues Audio speichern self.log_message("Speichere die neue Audiodatei...") save_path = filedialog.asksaveasfilename( defaultextension=".wav", filetypes=[("WAV Datei", "*.wav")], title="Speichern Sie die neue Audiodatei" ) if save_path: shutil.move(output_audio_path, save_path) temp_files.remove(output_audio_path) # Bereits verschoben self.log_message(f"Neue Audiodatei gespeichert unter: {save_path}") self.log_message("Stimmtausch abgeschlossen.") pb_var.set(100) except Exception as e: logging.error(f"Fehler beim Stimmtausch: {e}") self.log_message(f"Fehler beim Stimmtausch: {e}") messagebox.showerror("Fehler", f"Es ist ein Fehler aufgetreten:\n{str(e)}") pb_var.set(0) finally: # Temporäre Dateien löschen for temp_file in temp_files: if os.path.exists(temp_file): try: os.remove(temp_file) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_file}': {e}") self.remove_progress_bar(pb_var) self.enable_all_buttons() threading.Thread(target=replace_thread, daemon=True).start() def detect_language(self, audio_path): try: self.log_message("Erkenne Sprache der Audiodatei...") with wave.open(audio_path, "rb") as wf: if wf.getnchannels() != 1 or wf.getsampwidth() != 2: self.log_message("Konvertiere Audiodatei in Mono und 16-Bit...") sound = AudioSegment.from_file(audio_path) sound = sound.set_channels(1).set_sample_width(2) temp_audio_fd, temp_audio_path = tempfile.mkstemp(suffix=".wav") os.close(temp_audio_fd) sound.export(temp_audio_path, format="wav") else: temp_audio_path = audio_path with wave.open(temp_audio_path, "rb") as wf_processed: # Größeren Abschnitt lesen (z.B. 10 Sekunden) frames = wf_processed.getnframes() rate = wf_processed.getframerate() duration = frames / float(rate) if duration > 10: frames_to_read = int(rate * 10) else: frames_to_read = frames data = wf_processed.readframes(frames_to_read) # Initialize recognizers rec_de = KaldiRecognizer(self.asr_models["Deutsch"], rate) rec_en = KaldiRecognizer(self.asr_models["Englisch"], rate) rec_de.SetWords(True) rec_en.SetWords(True) rec_de.AcceptWaveform(data) result_de = json.loads(rec_de.Result()) rec_en.AcceptWaveform(data) result_en = json.loads(rec_en.Result()) score_de = len(result_de.get('text', '').split()) score_en = len(result_en.get('text', '').split()) # Sprache mit dem höheren Score auswählen if score_de > score_en: self.log_message("Sprache Deutsch erkannt.") return "Deutsch" elif score_en > score_de: self.log_message("Sprache Englisch erkannt.") return "Englisch" else: self.log_message("Sprache konnte nicht eindeutig erkannt werden, verwende Standardsprache.") return self.current_language.get() except Exception as e: logging.error(f"Fehler bei der Sprachenerkennung: {e}") self.log_message(f"Fehler bei der Sprachenerkennung: {e}") return self.current_language.get() finally: # Temporäre Dateien löschen if 'temp_audio_path' in locals() and temp_audio_path != audio_path: try: os.remove(temp_audio_path) except Exception as e: logging.error(f"Fehler beim Löschen der temporären Datei '{temp_audio_path}': {e}") def transcribe_audio(self, audio_path, asr_model): try: with wave.open(audio_path, "rb") as wf: rec = KaldiRecognizer(asr_model, wf.getframerate()) rec.SetWords(True) results = [] while True: data = wf.readframes(4000) if len(data) == 0: break if rec.AcceptWaveform(data): part_result = json.loads(rec.Result()) if 'result' in part_result: results.extend(part_result['result']) final_result = json.loads(rec.FinalResult()) if 'result' in final_result: results.extend(final_result['result']) # Segmente extrahieren segments = [] for word_info in results: word = word_info['word'] start = word_info['start'] end = word_info['end'] segments.append({'word': word, 'start': start, 'end': end}) return segments except Exception as e: logging.error(f"Fehler bei der Transkription: {e}") self.log_message(f"Fehler bei der Transkription: {e}") return [] if __name__ == "__main__": app = Speech2SpeechApp() app.mainloop()Änderungen und Verbesserungen:
-
Popup beim ersten Start:
- Beim ersten Start erscheint ein Popup-Fenster (
show_first_run_popup), in dem der Nutzer die gewünschten Modelle auswählen kann. - Es wird sichergestellt, dass der Nutzer mindestens ein TTS- und ASR-Modell für eine Sprache auswählt.
- Beim ersten Start erscheint ein Popup-Fenster (
-
Modelle herunterladen:
- Die Funktionalität zum Herunterladen von Modellen kann später über das Menü "Einstellungen" unter "Modelle herunterladen" erneut aufgerufen werden.
-
Fortschrittsbalken:
- Am unteren Rand des GUI wird ein Bereich bereitgestellt, in dem mehrere Fortschrittsbalken angezeigt werden können.
- Fortschrittsbalken werden überlagert dargestellt. Da echte Transparenz in Tkinter schwierig umzusetzen ist, werden unterschiedliche Farben verwendet, um die Fortschrittsbalken unterscheidbar zu machen.
- Methoden wie
add_progress_barundremove_progress_barwurden hinzugefügt, um Fortschrittsbalken zu verwalten. - Alle langlaufenden Prozesse wurden angepasst, um individuelle Fortschrittsbalken zu verwenden.
-
Verbesserungen und Fehlerbehebungen:
- Unfertige Methoden wurden entfernt oder vervollständigt.
- Redundante und unlogische Codeabschnitte wurden überarbeitet.
- Kommentare wurden hinzugefügt, um die Lesbarkeit und Wartbarkeit zu erhöhen.
- Eine
settings.ini-Datei wird verwendet, um den ersten Start zu erkennen und Einstellungen zu speichern.
-
Benutzerfreundlichkeit:
- ToolTips wurden ergänzt, um dem Nutzer Hinweise zu den Funktionen zu geben.
- Meldungen und Fehlermeldungen wurden verbessert, um dem Nutzer klarere Rückmeldungen zu geben.
- Die GUI wurde so gestaltet, dass sie auf allen Tabs den Fortschrittsbereich anzeigt.
Hinweis: Aufgrund von Einschränkungen in Tkinter bezüglich Transparenz werden die Fortschrittsbalken durch unterschiedliche Farben und Anordnung überlagert dargestellt, um den gewünschten Effekt bestmöglich zu simulieren.
-