Skip to content
The Chat Archive
o3-mini· OpenAI LMArena Human Preference 140K

Wie kommst du auf diese kosten? Was ist mit 100m tokens?

  1. User

    Wie kommst du auf diese kosten? Was ist mit 100m tokens?

  2. Assistant

    Die zuvor angegebenen Kosten ergeben sich aus einer Abschätzung der benötigten Trainingszeit in Kombination mit den stündlichen Kosten einer geeigneten GPU-Instanz (z. B. einem 8×H100-Cluster). Ich erkläre im Folgenden Schritt für Schritt, wie diese Zahlen zustande kommen – und wie sich die Rechnung ändert, wenn du statt 10 Mrd. Tokens nur 100 Mio. Tokens trainierst.


    1. Herleitung der Kosten für 10 Mrd. Tokens

    a) Durchsatz und benötigte Trainingszeit

    • Annahme Durchsatz pro GPU:
      Für ein 70B-Modell geht man davon aus, dass eine einzelne H100 etwa 3.000 Tokens pro Sekunde verarbeitet.
    • Cluster-Durchsatz:
      Bei 8 GPUs wären das:
      8 × 3.000 = 24.000 Tokens pro Sekunde.
    • Berechnung der Gesamtzeit:
      Für 10 Mrd. Tokens gilt:
      Zeit (in Sekunden) = 10.000.000.000 Tokens / 24.000 Tokens/Sekunde ≈ 416.667 Sekunden
      Das entspricht etwa 116 Stunden (416.667 Sekunden ÷ 3600 ≈ 116 Stunden) bzw. rund 5 Tagen reiner Trainingszeit.

    b) Kosten pro Stunde

    • On-Demand Preis:
      Eine Instanz wie ein 8×H100-Setup (z. B. AWS p5.48xlarge) kostet ca. 98 USD pro Stunde.
    • Spot-Preis:
      Spot-Preise können oft 60–70 % günstiger sein. Im Beispiel nehmen wir einen Mittelwert von etwa 35 USD pro Stunde.

    c) Gesamtkostenabschätzung

    • On-Demand:
      116 Stunden × 98 USD/Stunde ≈ 11.400 USD
    • Spot:
      116 Stunden × 35 USD/Stunde ≈ 4.060 USD

    2. Was ändert sich bei 100 Mio. Tokens?

    Der Trainingsaufwand skaliert in etwa proportional zur Token-Anzahl – unter der Annahme, dass alle anderen Faktoren (Batch-Size, Sequenzlänge, etc.) gleich bleiben.

    a) Neuberechnung der Trainingszeit

    • 100 Mio. Tokens:
      Zeit (in Sekunden) = 100.000.000 Tokens / 24.000 Tokens/Sekunde ≈ 4.167 Sekunden
      Das entspricht ca. 1,16 Stunden (4.167 Sekunden ÷ 3.600 ≈ 1,16 Stunden).

    b) Kostenabschätzung für 100 Mio. Tokens

    • On-Demand:
      1,16 Stunden × 98 USD/Stunde ≈ 113,7 USD
    • Spot:
      1,16 Stunden × 35 USD/Stunde ≈ 40,6 USD

    3. Zusätzliche Überlegungen

    • Overhead und Setup:
      In der Praxis können noch zusätzliche Zeiten durch Setup, Checkpoints, Validierung und mögliche Restzeiten (z. B. bei dem Starten der Instanz oder kleineren Unterbrechungen) hinzukommen. Diese Berechnungen beziehen sich ausschließlich auf die reine Trainingszeit.
    • Optimierungen:
      Eventuell setzen manche Nutzer Techniken wie Gradient Checkpointing ein oder machen Optimierungen, die den Durchsatz verändern können. Das kann die tatsächlichen Kosten etwas beeinflussen.
    • Qualität der Ergebnisse:
      Bedenke, dass 100 Mio. Tokens nur ein Bruchteil (1/100) der ursprünglich angenommenen 10 Mrd. Tokens ausmachen. Das bedeutet, dass die Anpassung des Modells an die deutsche Sprache möglicherweise weniger ausgeprägt oder robust sein könnte als bei einer sehr groß angelegten Domänenanpassung.

    Zusammenfassung

    • Für 10 Mrd. Tokens:
      Reine Trainingszeit ca. 116 Stunden.
      Kosten ca. 11.400 USD (On-Demand) bzw. ca. 4.060 USD (Spot).

    • Für 100 Mio. Tokens:
      Reine Trainingszeit ca. 1,16 Stunden.
      Kosten ca. 114 USD (On-Demand) bzw. ca. 41 USD (Spot).

    Diese groben Schätzungen helfen dir dabei, den finanziellen Rahmen für dein Projekt abzuschätzen. Je nach tatsächlicher Implementierung, Optimierungen und eventuellen weiteren Overhead-Kosten (Datenvorverarbeitung, Experimentmanagement etc.) können die Zahlen leicht variieren.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.