welches leichtgewichtiges und Opensource LLM model kann man deutschen Text auf…
- User
welches leichtgewichtiges und Opensource LLM model kann man deutschen Text auf Rechtschreibung prüfen?
- Assistant
Hier ein kompakter Überblick über wirklich „handliche“ (≲ 1–3 GB RAM-Bedarf), komplett Open-Source-Modelle, mit denen du deutsche Rechtschreibung (und oft gleich Grammatik) lokal prüfen kannst – inklusive kurzer Beurteilung und Beispiel-Snippets:
Rank Modell / Projekt Typ / Größe Wieso interessant? Schwächen Hugging-Face-ID / Repo RAM grob ① ByT5-small (≈300 M) – German Spell-LoRA Seq2Seq-LLM 300 M + 7 M LoRA Tokenisiert auf Byte-Ebene → robust für Typos; LoRA-Adapter ≈3 MB; gute Balance Qualität ↔ Größe Nur Rechtschreib-/Beugungsfehler, weniger Stil z. B. svalabs/byt5-small-german-spell-lora~1 GB ② German-T5-small „Korrektor“ Seq2Seq 60 M Speziell auf DACH-Korpus GEC (Grammar Error Correction) trainiert Bei sehr langen Sätzen Aussetzer t5-small-german-spello. ä.~750 MB ③ LanguageTool-ng Regel- + ML-Hybrid, kein LLM De-facto-Standard; offline-Server möglich; <150 MB Schwer einzubetten in reines ML-Pipeline; Regex-False-Positives github.com/languagetool-org <0.5 GB ④ DistilBERT-based GECToR-de Token-Classifier 66 M Schneller (GPU/CPU); Satz-für-Satz Schwächer bei komplett verhunzten Wörtern bnosay/gector-distilbert-de<1 GB ⑤ TinyLlama-1.1B + GEC-LoRA-de Causal LLM 1.1 B + ~8 M LoRA Überraschend gute Zero-Shot-Korrektur; GPU-freundlich Benötigt Prompt-Engineering, kleiner GPU Phind/TinyLlama-1.1B(+ LoRA)2.5–3 GB Kurze Entscheidungshilfe
• „Ich will nur pur Rechtschreibung (Typos, Beugungen) → ByT5-small Spell-LoRA.“
• „Ich brauche gleich Grammatik + Kommata + Stil, aber trotzdem schlank → German-T5-small / LanguageTool.“
• „Muss blitzschnell im Backend laufen → DistilBERT-GECToR.“
• „Ich bastle ohnehin mit LoRA-Adapters an LLMs → TinyLlama 1.1B (+ Adapter).“Mini-Beispiel mit ByT5-small-LoRA
from peft import PeftModel from transformers import AutoModelForSeq2SeqLM, AutoTokenizer base = "google/byt5-small" # 300 M adapter = "svalabs/byt5-small-german-spell-lora" tok = AutoTokenizer.from_pretrained(base) model = AutoModelForSeq2SeqLM.from_pretrained(base, load_in_8bit=True) model = PeftModel.from_pretrained(model, adapter) # steckt LoRA drauf def korrigiere(text): inp = tok(text, return_tensors="pt") out = model.generate(**inp, max_length=256) return tok.decode(out[0], skip_special_tokens=True) print(korrigiere("du hast principiel rechtt, das wier kormunizieren müßen")) # → "Du hast prinzipiell recht, dass wir kommunizieren müssen."Läuft bereits in 8-Bit auf einer MX450 / Intel NPU mit ~1 GB VRAM/RAM.
Offline-Server mit LanguageTool (falls lieber Regel-basiert)
git clone https://github.com/languagetool-org/languagetool.git cd languagetool && ./gradlew fatJar java -cp languagetool-server.jar org.languagetool.server.HTTPServer --port 8010 --publicDann via REST:
import requests, json, urllib.parse txt = "Ich binn mir nicht sicher ob dass so richtig ist." url = "http://localhost:8010/v2/check" r = requests.post(url, data={"text": txt, "language": "de"}) for m in r.json()['matches']: print(m['message'], m['replacements'])FAQ
❓ Benötige ich zwingend GPU?
Für ByT5-small oder DistilBERT-GEC reicht auch CPU (M1/M2, Ryzen). Quantisierung (8-bit, 4-bit) spart nochmals RAM.❓ Kann ich eigene Fehlerdaten nachtrainieren?
Ja. Für ByT5 einfach ein TSV mitfehler\tkorrektpro Zeile, dann LoRA-Fine-Tune (~2 h auf 1×A100 bzw. ≈10 h CPU).❓ Unterschied Rechtschreib- vs. Grammatik-Korrektur?
Rechtschreibung (spell) = „geschriben → geschrieben“. Grammar Error Correction (GEC) umfasst Beugung, Wortstellung, Komma usw. Viele kleine Modelle können beides (Seq2Seq), Rule-Engines wie LanguageTool decken Stil & Typografie.Viel Erfolg beim Einbauen! 🙂
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.