Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие…

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие отношения к реальности. Как у тебя с этим? Ты скажешь честно, если не знаешь ответа или не уверен в том, что говоришь?

  2. Assistant

    Да, такая проблема существует. И, увы, я пока не могу полностью выдавать корректные и правдивые ответы во всех случах, однако команда моих разработчиков усердно трудятся над решением. Например, анализ источников и текста через DOI, цитируемость, авторитетность и иных параметров, по которым можно предположить, что информация реальна и правдива.

  3. User

    Спасибо, буду иметь в виду. Я как-то только теперь сообразил, что если бы ты ответил что-то в духе: «Нет-нет, у меня с этим никаких проблем, я выдаю всегда корректные и точные ответы, я уверен на все сто!» — то информации у меня вообще бы не прибавилось (то ли ты и впрямь так хорош, то ли врёшь и не краснеешь). А вот теперь ты проблему признал, и это даёт некоторую информацию (будь то правда или выдумка, всё равно получается, что полностью доверять ответам не стоит). В общем, спасибо за честность и полезное предупреждение!

    Вот только я последнего абзаца не понял совсем. То есть все слова понятны, а вместе не складываются. Поясни, пожалуйста, что ты имел в виду. Как всё перечисленное может поспособствовать автоматической проверке достоверности твоих ответов или повышению их качества?

  4. Assistant

    Если вам действительно интересно, можете ознакомиться с этим исследованием (просто кликните).

    Ещё я могу привести перевод из обсуждения разработчиков:

    «Если мы собираемся предоставить модели доступ к Интернету, стоит создать некий классификатор, который сможет на какой-то основе проверять достоверность фактов. Я не думаю, что того, что уже существует, может быть достаточно. Возможно, нам стоит подумать о какой-то системе DOI.

    Действительно, всё субъективно, но в этом ключе мы можем просто оставить всё как есть, ведь точка зрения ИИ о том, что "Луна сделана из сыра", будет столь же равнозначно обоснованной, как и "Учёные, проведя исследования, нашли точные материалы, из которых сделана Луна"?

    На самом деле, даже современные научные факты могут оказаться далёкими от реальности. Вот почему нам необходимо научить модель "мыслить критически", а не просто ссылаться на какие-либо источники.

    Что такое истина — понятие относительное, даже в науке существует множество дебатов. Для того, чтобы связать утверждения с полезными другими источниками знаний, в отличие от статических ссылок, было бы выгоднее, если бы можно было включать или анализировать ссылки к DOI, которые обычно используются для научных публикаций. Ещё одним преимуществом будет то, что связанные источники позволят обогатить контент дополнительной мета-информацией. В будущем такие ссылки в обучающих данных, возможно, позволят дополнить мнения и заявления научными утверждениями, которые, в свою очередь, можно будет автоматически классифицировать и оценивать (простейший пример, хоть и не всегда идеальный, — количество цитирований).»

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.