Skip to content
The Chat Archive
gemini-2.0-flash-grounding· Google LMArena Search Arena 24K

LLM에서 나타나는 환각의 종류를 언급한 논문들을 찾아서 요약해줘.

  1. User

    LLM에서 나타나는 환각의 종류를 언급한 논문들을 찾아서 요약해줘.

  2. Assistant

    LLM(대규모 언어 모델)에서 나타나는 환각의 종류를 언급한 논문들을 찾아 요약해 드리겠습니다.

    환각의 종류

    • 사실적 부정확성 (Factual Inaccuracies): LLM이 부정확하거나 오해의 소지가 있는 정보를 생성하는 경우입니다.[[1]][[2]] 예를 들어, LLM이 부정확한 역사적 정보, 과학적 사실 또는 전기적 세부 사항을 제시할 수 있습니다.[[1]]
    • 무의미한 응답 (Nonsensical Responses): LLM이 비논리적이거나 이해할 수 없는 텍스트를 생성하는 경우입니다.[[1]]
    • 모순 (Contradictions): LLM이 동일한 텍스트 내에서 모순되는 진술을 생성하는 경우입니다.[[1]]
    • 내재적 환각 (Intrinsic Hallucinations): LLM의 내부 지식의 한계로 인해 발생하는 환각입니다.[[3]] LLM이 훈련 데이터 또는 일반적인 세계 지식에 인코딩된 정보와 일치하지 않는 출력을 생성할 때 발생합니다.[[3]]
    • 외재적 환각 (Extrinsic Hallucinations): 외부 정보 통합 문제로 인해 발생하는 환각입니다.[[3]] LLM이 주어진 컨텍스트나 프롬프트를 잘못 해석하거나 통합하지 못할 때 발생합니다.[[3]]
    • 비사실적 환각 (Non-Factual Hallucinations): 확립된 사실이나 세계 지식과 모순되는 콘텐츠를 생성하는 환각입니다.[[3]]
    • 과장된 환각 (Overclaim Hallucination): LLM이 생성한 텍스트에 표현된 진술이 사실적 지식의 범위를 벗어나는 경우입니다.[[1]][[2]]

    환각의 원인

    • 훈련 데이터 문제: LLM이 학습한 데이터에 오류가 있거나 편향되어 있는 경우 환각이 발생할 수 있습니다.[[1]]
    • 모델 제한: LLM의 구조나 학습 방법의 한계로 인해 환각이 발생할 수 있습니다.[[3]]
    • 토큰 크기 제약: LLM이 처리할 수 있는 토큰 크기에 제한이 있는 경우 환각이 발생할 수 있습니다.[[1]]
    • 미묘한 언어 이해의 어려움: LLM이 미묘한 언어 뉘앙스를 이해하는 데 어려움을 겪는 경우 환각이 발생할 수 있습니다.
    • 지식 그림자 가리기 (Knowledge Overshadowing): 프롬프트의 특정 측면이 모델의 관심을 지배하여 환각을 유발하는 경우입니다.[[3]]
    • 컨텍스트 불일치 (Contextual Misalignment): 모델이 컨텍스트를 잘못 해석하거나 통합하지 못하는 경우입니다.[[3]]

    환각 해결 방법

    • 사전 처리 및 입력 제어: LLM에 입력되는 데이터를 정리하고 제어하여 환각을 줄일 수 있습니다.
    • 모델 매개변수 조정: LLM의 매개변수를 조정하여 환각 발생 가능성을 줄일 수 있습니다.
    • 조정 레이어 구현: LLM의 출력을 검토하고 수정하는 조정 레이어를 구현하여 환각을 줄일 수 있습니다.
    • 모니터링 및 지속적인 개선: LLM의 성능을 지속적으로 모니터링하고 개선하여 환각을 줄일 수 있습니다.
    • 컨텍스트 및 데이터 개선: LLM에 제공되는 컨텍스트와 데이터를 개선하여 환각을 줄일 수 있습니다.
    • RLHF (Reinforcement Learning from Human Feedback): 사람의 피드백을 바탕으로 LLM이 더 좋은 답안을 내놓도록 학습시키는 기법입니다.[[4]]
    • RAG (Retrieval-Augmented Generation): LLM이 답변을 생성하기 전에 외부 지식 소스에서 관련 정보를 검색하여 환각을 줄이는 기법입니다.

    이러한 환각의 종류, 원인 및 해결 방법을 이해함으로써 LLM의 신뢰성을 높이고 다양한 애플리케이션에서 더 효과적으로 사용할 수 있습니다.[[1]]

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.