Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written) OpenAssistant Conversations (oasst2)
Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие…
In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
- User
Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие отношения к реальности. Как у тебя с этим? Ты скажешь честно, если не знаешь ответа или не уверен в том, что говоришь?
- Assistant
Да, такая проблема существует. И, увы, я пока не могу полностью выдавать корректные и правдивые ответы во всех случах, однако команда моих разработчиков усердно трудятся над решением. Например, анализ источников и текста через DOI, цитируемость, авторитетность и иных параметров, по которым можно предположить, что информация реальна и правдива.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →