Skip to content
The Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written) OpenAssistant Conversations (oasst2)

Erzeugen Prompts durch beim Reinforcement Learning with Human Feedback einen Bias im…

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Erzeugen Prompts durch beim Reinforcement Learning with Human Feedback einen Bias im Training Set der das Verhalten des Dialogsystems beeinflusst?

  2. Assistant

    Ja, es ist möglich, dass Prompts einen Bias im Training Set erzeugen können, wenn man Reinforcement Learning mit menschlichem Feedback verwendet. Sprachmodelle haben in den letzten Jahren beeindruckende Fähigkeiten gezeigt, indem sie aus menschlichen Eingabeaufforderungen vielfältigen und überzeugenden Text generieren. Was jedoch einen "guten" Text ausmacht, ist von Natur aus schwer zu definieren, da er subjektiv und kontextabhängig ist. Es gibt viele Anwendungen, wie z. B. das Schreiben von Geschichten, bei denen Sie Kreativität wünschen, informative Texte, die wahrheitsgemäß sein sollten, oder Code-Schnipsel, die ausführbar sein sollen.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.