Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

Можешь мне объяснить как RL with human feedback работает для языковых моделей?

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Можешь мне объяснить как RL with human feedback работает для языковых моделей?

  2. Assistant

    Обучение с подкреплением на основе отзывов (RLHF; также обучение с подкреплением на основе человеческих предпочтений) — метод, который обучает «модель вознаграждения» непосредственно на основе отзывов человека и использует её в качестве функции вознаграждения для оптимизации политики агента с использованием обучения с подкреплением (RL). RLHF может улучшить надёжность и исследование агентов RL, особенно когда функция вознаграждения разрежена или зашумлена.

    Человеческая обратная связь собирается путём просьбы к людям ранжировать случаи поведения агента. Затем эти рейтинги можно использовать для оценки результатов, например, с помощью рейтинговой системы Эло.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.