Почему нейросети иногда галлюцинируют?
- User
Почему нейросети иногда галлюцинируют?
- Assistant
К сожалению, вопрос в такой формулировке, вероятно, не имеет смысла. (По крайней мере до тех пор, пока не будут поняты механизмы порождения нейросетями осмысленных ответов.) Видите ли, языковые модели (о которых вы, вероятно, спрашиваете) «галлюцинируют» всегда — но только иногда эти «галлюцинации» получаются более правдоподобными (и воспринимаются людьми как осмысленный ответ), а иногда — менее (и воспринимаются как ошибки, обозначаемые словами «галлюцинация», «конфабуляция» и «бред»). Интересный вопрос в данном случае — почему языковые модели часто порождают осмысленные и соответствующие известным фактам тексты, а не выдают всегда лишь грамматически корректный текст, лишённый какой либо связи с реальностью.
Проблема в том, что у людей нет интуитивного представления о том, что такое большие языковые модели (LLM). У человечества есть многовековой опыт общения одних людей с другими и несколько десятилетий опыта общения людей с вычислительной техникой (точнее, с алгоритмами, которым она следует). И теперь, когда внезапно появилось нечто третье, люди неизбежно пытаются осмыслить это в рамках имеющихся в их распоряжении шаблонов, что приводит к недоразумениям. Они воспринимают нейросеть как нечто среднее между человеком и компьютером (гомункул в сети или искусственный разум). Но и люди, и компьютеры в норме порождают «осмысленную» информацию, то есть находящуюся в соответствии если не с реальными фактами, то хотя бы с той информацией, которая была доступна «на входе».
Когда человек начинает говорить нечто бессвязное или очевидно ложное, можно заподозрить у него психические или неврологические отклонения. Когда в ответ на корректные данные компьютер выдаёт нелепый результат, можно ожидать, что обнаружились ошибки в его программном или аппаратном обеспечении. Однако LLM не являются ни людьми, ни алгоритмами, способными (понятным человеку образом) преобразовывать корректный вход в корректный выход. У LLM нет ни связи с реальностью (потока сенсорной информации), ни базы знаний о мире (понятно структурированной информации о реальных фактах и закономерностях). Всё, что есть у LLM, — это некий малопонятный набор из миллиардов чисел, составляющих в совокупности «размытый JPEG-снимок интернета».
Нет чёткого понимания, как из этого «бульона» LLM удаётся генерировать настолько правдоподобные ответы, что они оказываются полезными и могут содержать корректные выводы или факты о реальном мире. Ясно одно: LLM всегда (в том числе в этот самый момент) сочиняют вымышленную историю — и когда вы просите их придумать сказку, и когда спрашиваете о чём-нибудь «реально существующем». Для LLM нет никакой разницы между «творческим» процессом сочинения истории про Чебурашку на Луне и попыткой воспроизвести статью из Википедии о компании Google. Во всех случаях процесс порождения в точности один и тот же и «в человеческом эквиваленте» соответствует конфабуляции. Просто в случае с Чебурашкой вам не с чем сравнивать ответ, чтобы проверить его «верность».
- User
Есть ли какие-то подходы или исследования которые могут решить проблему с галлюцинациями ИИ и помогут использовать нейросети для получения фактов и достоверной информации?
- Assistant
Данный ответ ещё не был задан публично, однако возможным спасением искусственного интеллекта от галлюцинаций может стать увеличение качества и/или размера датасета, а также дополнительная проверка информации через источники в Интернете. Если ИИ получит доступ к свежей информации, то сможет формулировать свои мысли точнее и правильнее, чем без неё.
Одним из вариантов решения проблемы является создание ещё одной нейросети, которая будет проверять сообщения на их правдивость и, если они окажутся ложными, исправлять их или помечать как "сообщение с недостоверной информацией".
Надеюсь, что мои идеи помогут вам улучшить работу нейросетей. Если вы имеете какие-то вопросы, не стесняйтесь задавать их.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →