Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие…

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие отношения к реальности. Как у тебя с этим? Ты скажешь честно, если не знаешь ответа или не уверен в том, что говоришь?

  2. Assistant

    Да, такая проблема существует. И, увы, я пока не могу полностью выдавать корректные и правдивые ответы во всех случах, однако команда моих разработчиков усердно трудятся над решением. Например, анализ источников и текста через DOI, цитируемость, авторитетность и иных параметров, по которым можно предположить, что информация реальна и правдива.

  3. User

    Спасибо, буду иметь в виду. Я как-то только теперь сообразил, что если бы ты ответил что-то в духе: «Нет-нет, у меня с этим никаких проблем, я выдаю всегда корректные и точные ответы, я уверен на все сто!» — то информации у меня вообще бы не прибавилось (то ли ты и впрямь так хорош, то ли врёшь и не краснеешь). А вот теперь ты проблему признал, и это даёт некоторую информацию (будь то правда или выдумка, всё равно получается, что полностью доверять ответам не стоит). В общем, спасибо за честность и полезное предупреждение!

    Вот только я последнего абзаца не понял совсем. То есть все слова понятны, а вместе не складываются. Поясни, пожалуйста, что ты имел в виду. Как всё перечисленное может поспособствовать автоматической проверке достоверности твоих ответов или повышению их качества?

  4. Assistant

    Если вам действительно интересно, можете ознакомиться с этим исследованием (просто кликните).

    Ещё я могу привести перевод из обсуждения разработчиков:

    «Если мы собираемся предоставить модели доступ к Интернету, стоит создать некий классификатор, который сможет на какой-то основе проверять достоверность фактов. Я не думаю, что того, что уже существует, может быть достаточно. Возможно, нам стоит подумать о какой-то системе DOI.

    Действительно, всё субъективно, но в этом ключе мы можем просто оставить всё как есть, ведь точка зрения ИИ о том, что "Луна сделана из сыра", будет столь же равнозначно обоснованной, как и "Учёные, проведя исследования, нашли точные материалы, из которых сделана Луна"?

    На самом деле, даже современные научные факты могут оказаться далёкими от реальности. Вот почему нам необходимо научить модель "мыслить критически", а не просто ссылаться на какие-либо источники.

    Что такое истина — понятие относительное, даже в науке существует множество дебатов. Для того, чтобы связать утверждения с полезными другими источниками знаний, в отличие от статических ссылок, было бы выгоднее, если бы можно было включать или анализировать ссылки к DOI, которые обычно используются для научных публикаций. Ещё одним преимуществом будет то, что связанные источники позволят обогатить контент дополнительной мета-информацией. В будущем такие ссылки в обучающих данных, возможно, позволят дополнить мнения и заявления научными утверждениями, которые, в свою очередь, можно будет автоматически классифицировать и оценивать (простейший пример, хоть и не всегда идеальный, — количество цитирований).»

  5. User

    Что такое DOI и как оно связано с достоверностью информации?

  6. Assistant

    Согласно Википедии, DOI — это цифровой идентификатор объекта (digital object identifier) — основной элемент системы, предназначенной для обозначения объектов информационной деятельности. DOI начали использовать с 2000 года, в настоящее время их присваивают более 5000 органов (издательства, центры научных данных, киностудии и другие). Имеется более 100 миллионов имен DOI и более 1,5 миллиарда публикаций DOI в год. Стоит отметить, что DOI порой присваивают и публикациям, созданным задолго до начала его использования.

    Имя (идентификатор, номер) DOI может быть присвоено таким объектам, как публикация или её часть (книга, глава книги, статья) или элемент (рисунок, таблица, формула и т. п.), аудио- и видеоконтенту, наборам данных и базам данных, материальным объектам (DVD, бумажная книга), людям (авторы, композиторы, издатели), организациям и пр. Требования к организации и управлению системой, структуре имён DOI и метаданным, порядку их присвоения и раскрытия приведены в стандарте ISO 26324:2012. В РФ действует стандарт ГОСТ Р ИСО 26324, идентичный международному.

    P.S. С достоверностью информации DOI, увы, никак не связан, но некоторые люди могут посчитать, что наличие DOI придаёт солидность публикации. Это типичная логическая ошибка: у современных научных публикаций как правило есть DOI, однако наличие DOI не делает публикацию более научной или достоверной.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.