Skip to content
TheChatArchiveThe Chat Archive
o3-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

welches leichtgewichtiges und Opensource LLM model kann man deutschen Text auf…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with MiniMaxminimax-m1’s answer.
  1. User

    welches leichtgewichtiges und Opensource LLM model kann man deutschen Text auf Rechtschreibung prüfen?

  2. Assistant

    Hier ein kompakter Überblick über wirklich „handliche“ (≲ 1–3 GB RAM-Bedarf), komplett Open-Source-Modelle, mit denen du deutsche Rechtschreibung (und oft gleich Grammatik) lokal prüfen kannst – inklusive kurzer Beurteilung und Beispiel-Snippets:

    RankModell / ProjektTyp / GrößeWieso interessant?SchwächenHugging-Face-ID / RepoRAM grob
    ①ByT5-small (≈300 M) – German Spell-LoRASeq2Seq-LLM 300 M + 7 M LoRATokenisiert auf Byte-Ebene → robust für Typos; LoRA-Adapter ≈3 MB; gute Balance Qualität ↔ GrößeNur Rechtschreib-/Beugungsfehler, weniger Stilz. B. svalabs/byt5-small-german-spell-lora~1 GB
    ②German-T5-small „Korrektor“Seq2Seq 60 MSpeziell auf DACH-Korpus GEC (Grammar Error Correction) trainiertBei sehr langen Sätzen Aussetzert5-small-german-spell o. ä.~750 MB
    ③LanguageTool-ngRegel- + ML-Hybrid, kein LLMDe-facto-Standard; offline-Server möglich; <150 MBSchwer einzubetten in reines ML-Pipeline; Regex-False-Positivesgithub.com/languagetool-org<0.5 GB
    ④DistilBERT-based GECToR-deToken-Classifier 66 MSchneller (GPU/CPU); Satz-für-SatzSchwächer bei komplett verhunzten Wörternbnosay/gector-distilbert-de<1 GB
    ⑤TinyLlama-1.1B + GEC-LoRA-deCausal LLM 1.1 B + ~8 M LoRAÜberraschend gute Zero-Shot-Korrektur; GPU-freundlichBenötigt Prompt-Engineering, kleiner GPUPhind/TinyLlama-1.1B (+ LoRA)2.5–3 GB

    Kurze Entscheidungshilfe

    • „Ich will nur pur Rechtschreibung (Typos, Beugungen) → ByT5-small Spell-LoRA.“
    • „Ich brauche gleich Grammatik + Kommata + Stil, aber trotzdem schlank → German-T5-small / LanguageTool.“
    • „Muss blitzschnell im Backend laufen → DistilBERT-GECToR.“
    • „Ich bastle ohnehin mit LoRA-Adapters an LLMs → TinyLlama 1.1B (+ Adapter).“

    Mini-Beispiel mit ByT5-small-LoRA

    from peft import PeftModel
    from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
    
    base = "google/byt5-small"  # 300 M
    adapter = "svalabs/byt5-small-german-spell-lora"
    
    tok = AutoTokenizer.from_pretrained(base)
    model = AutoModelForSeq2SeqLM.from_pretrained(base, load_in_8bit=True)
    model = PeftModel.from_pretrained(model, adapter)  # steckt LoRA drauf
    
    def korrigiere(text):
        inp = tok(text, return_tensors="pt")
        out = model.generate(**inp, max_length=256)
        return tok.decode(out[0], skip_special_tokens=True)
    
    print(korrigiere("du hast principiel rechtt, das wier kormunizieren müßen"))
    # → "Du hast prinzipiell recht, dass wir kommunizieren müssen."
    

    Läuft bereits in 8-Bit auf einer MX450 / Intel NPU mit ~1 GB VRAM/RAM.

    Offline-Server mit LanguageTool (falls lieber Regel-basiert)

    git clone https://github.com/languagetool-org/languagetool.git
    cd languagetool && ./gradlew fatJar
    java -cp languagetool-server.jar org.languagetool.server.HTTPServer --port 8010 --public
    

    Dann via REST:

    import requests, json, urllib.parse
    txt = "Ich binn mir nicht sicher ob dass so richtig ist."
    url = "http://localhost:8010/v2/check"
    r = requests.post(url, data={"text": txt, "language": "de"})
    for m in r.json()['matches']:
        print(m['message'], m['replacements'])
    

    FAQ

    ❓ Benötige ich zwingend GPU?
    Für ByT5-small oder DistilBERT-GEC reicht auch CPU (M1/M2, Ryzen). Quantisierung (8-bit, 4-bit) spart nochmals RAM.

    ❓ Kann ich eigene Fehlerdaten nachtrainieren?
    Ja. Für ByT5 einfach ein TSV mit fehler\tkorrekt pro Zeile, dann LoRA-Fine-Tune (~2 h auf 1×A100 bzw. ≈10 h CPU).

    ❓ Unterschied Rechtschreib- vs. Grammatik-Korrektur?
    Rechtschreibung (spell) = „geschriben → geschrieben“. Grammar Error Correction (GEC) umfasst Beugung, Wortstellung, Komma usw. Viele kleine Modelle können beides (Seq2Seq), Rule-Engines wie LanguageTool decken Stil & Typografie.

    Viel Erfolg beim Einbauen! 🙂

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.