Skip to content
TheChatArchiveThe Chat Archive
Mistralmistral-medium-2505· Mistral AIHugging Face LMArena Human Preference 140K

Wie kommst du auf diese kosten? Was ist mit 100m tokens?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o3-mini’s answer.
  1. User

    Wie kommst du auf diese kosten? Was ist mit 100m tokens?

  2. Mistral Assistant

    Hier ist eine detaillierte Aufschlüsselung der Kostenberechnung für 100 Millionen Token (statt 10 Mrd.) und eine Erklärung, wie ich auf die vorherigen Schätzungen komme.


    1. Grundlagen der Kostenberechnung

    Die Kosten hängen von drei Hauptfaktoren ab:

    1. GPU-Kosten pro Stunde (On-Demand vs. Spot-Instanzen)
    2. Trainingsgeschwindigkeit (Token/Sekunde pro GPU)
    3. Anzahl der benötigten GPUs (abhängig von VRAM-Bedarf)

    2. Kosten für 100M Token (statt 10B)

    A) Vollständiges Post-Training (alle 70B Parameter)

    • Durchsatz pro GPU (H100 80GB):
      • ~2.500–3.500 Token/Sekunde (realistisch: 3.000 Token/s).
    • Cluster mit 8x H100 (p5.48xlarge auf AWS):
      • Gesamtdurchsatz: 8 × 3.000 = 24.000 Token/Sekunde.
    • Zeit für 100M Token:
      • ( \frac{100.000.000}{24.000} \approx 4.167 \text{ Sekunden} \approx 1,16 \text{ Stunden} ).
    • Kosten:
      • On-Demand: ~98/Stunde→∗∗ 98/Stunde → **~113**
      • Spot-Instanz: ~35/Stunde→∗∗ 35/Stunde → **~40**

    B) LoRA/PEFT (4-Bit-Quantisierung, 1x GPU)

    • Durchsatz (1x H100 80GB):
      • Mit 4-Bit-Quantisierung und LoRA: ~1.000–2.000 Token/Sekunde (realistisch: 1.500 Token/s).
    • Zeit für 100M Token:
      • ( \frac{100.000.000}{1.500} \approx 66.667 \text{ Sekunden} \approx 18,5 \text{ Stunden} ).
    • Kosten (1x H100 auf AWS g5.48xlarge):
      • On-Demand: ~12,50/Stunde→∗∗ 12,50/Stunde → **~230**
      • Spot-Instanz: ~5–5–8/Stunde → ~90–90–150

    3. Warum sind die Kosten für 10B Token so hoch?

    • Skalierungseffekte:
      • Die Kosten steigen linear mit der Anzahl der Token, aber:
      • Bei sehr großen Trainingsläufen (10B Token) gibt es Overhead (Checkpointing, Logging, Datenladezeiten), der die Effizienz leicht reduziert.
      • Bei kleinen Läufen (100M Token) ist der Overhead relativ höher, aber absolut gesehen fällt er weniger ins Gewicht.
    • GPU-Auslastung:
      • Bei kurzen Läufen (100M Token) ist die GPU nicht voll ausgelastet (z. B. durch Datenladezeiten).
      • Bei langen Läufen (10B Token) ist die GPU fast immer zu 100% ausgelastet → bessere Kosten pro Token.

    4. Vergleich: 100M vs. 10B Token

    Metrik100M Token10B Token
    Volles Post-Training (8x H100)~40–40–113~4.000–4.000–12.000
    LoRA (1x H100)~90–90–230~900–900–2.300
    Zeit (Volles Training)~1 Stunde~5 Tage
    Zeit (LoRA)~18 Stunden~180 Tage (unpraktisch)

    5. Wichtige Hinweise

    1. Spot-Instanzen sind riskant:

      • Sie können jederzeit terminiert werden. Für kurze Läufe (100M Token) ist das Risiko gering, aber bei langen Läufen (10B Token) kann es zu Unterbrechungen kommen.
      • Lösung: Nutze Checkpointing und starte bei Unterbrechung neu.
    2. Datenqualität ist entscheidend:

      • 100M Token sind sehr wenig für ein 70B-Modell. Du wirst kaum spürbare Verbesserungen sehen.
      • Empfehlung: Mindestens 1–10B Token für sinnvolle Ergebnisse.
    3. LoRA ist die beste Wahl für kleine Budgets:

      • Mit LoRA kannst du für ~100–100–200 experimentieren, bevor du in ein teures Post-Training investierst.

    6. Fazit

    • Für 100M Token:
      • LoRA auf 1x H100: ~90–90–230 (praktikabel).
      • Volles Training auf 8x H100: ~40–40–113 (übertrieben, da der Effekt minimal ist).
    • Für 10B Token:
      • LoRA auf 1x H100: ~900–900–2.300 (langsam, aber machbar).
      • Volles Training auf 8x H100: ~4.000–4.000–12.000 (professionell, aber teuer).

    Empfehlung:

    • Starte mit LoRA auf 100M Token (~$100) und evaluiere die Ergebnisse.
    • Falls nötig, skaliere auf 1B Token (~$1.000) hoch.
    • Volles Post-Training lohnt sich erst ab 10B+ Token und wenn du ein großes Budget hast.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.

Identical first prompt