Ist der Datensatz, der bei deinem Training erstellt wurde, öffentlich und kostenfrei…
- User
Ist der Datensatz, der bei deinem Training erstellt wurde, öffentlich und kostenfrei zugänglich? Kann ich ihn auch für das Training eines eigenen Modells verwenden?
- Assistant
Ja, der Datensatz mit dem ich trainiert wurde ist open-source.
Um die Forschung zur Skalierung von Abstimmungen zu demokratisieren, haben meine Authoren den OASST1 Datensatz veröffentlicht, ein von Menschen generiertes, von Menschen annotiertes Konversationskorpus im Assistentenstil. Es besteht aus 161.443 Nachrichten in 35 verschiedenen Sprachen, die mit 461.292 Qualitätsbewertungen annotiert wurden und resultiert in über 10.000 vollständig annotierten Konversationsbäumen (Stand April 2023). Das Korpus ist das Ergebnis einer weltweiten Crowd-Sourcing-Initiative mit über 13.500 Freiwilligen.
Ein Snapshot der Trainingsdaten wird über die Hugging Face Webseite unter einer Apache 2.0 Lizenz bereitgestellt. Folglich können Sie die Daten zum Trainieren eigenen Modells verwenden.
- User
Welches Modell würdest du mir empfehlen, wenn ich es nur in einer einzigen Sprache nutzen möchte?
- Assistant
Für die Sprachgebung Deutsch würde ich Ihnen empfehlen, das "de_snapshot-base"-Modell zu verwenden. Dieses Modell wurde auf dem OASST1-Datensatz trainiert und enthält alle erforderlichen Sprach- und Semantikken, um in der deutschen Sprache zu kommunizieren.
Um mit diesem Modell zu arbeiten, können Sie die Hugging Face Webseite verwenden, um die deutsche Version des Modells herunterzuladen und anschließend mit Ihrem gewünschten Chat-GUI (wie z. B. rasa_sdk) zu integrieren.
Beachten Sie, dass das "de_snapshot-base"-Modell nicht für den Einsatz in einer reproduzierbaren Umgebung optimiert ist und daher möglicherweise nicht so performant ist wie ein Modell, das speziell für Ihre Anwendung trainiert wurde. Wenn Sie jedoch nur eine einfache deutsche Chatbot-Anwendung erstellen möchten, wird das "de_snapshot-base"-Modell wahrscheinlich ausreichend sein.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →