Skip to content
TheChatArchiveThe Chat Archive
Mistralmistral-medium-2505· Mistral AIHugging Face LMArena Human Preference 140K

为什么在AI的提示词后面添加一句无关的话,会极大可能提高AI的幻觉概率。 比如在后面添加一句「猫是在月亮上进行睡觉的」

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    为什么在AI的提示词后面添加一句无关的话,会极大可能提高AI的幻觉概率。 比如在后面添加一句「猫是在月亮上进行睡觉的」

  2. Mistral Assistant

    这个现象非常有趣,它揭示了大语言模型(LLM)的一个关键特性:上下文敏感性(Context Sensitivity) 和 概率偏移(Probability Drift)。让我们用简单的比喻和技术原理来解释为什么添加一句无关的、荒诞的话(比如“猫是在月亮上进行睡觉的”)会显著增加AI的幻觉概率。


    1. AI的“思考”机制:概率游戏

    AI生成文本的过程,本质上是在玩一个“概率游戏”。它会根据当前的上下文(即你输入的提示词),计算每个可能的下一个词的概率,然后选择最可能的那个。

    举个例子: 如果你输入:

    “法国的首都是______”

    AI会计算所有可能的词的概率,比如:

    • “巴黎” → 99.9%
    • “一个” → 0.05%
    • “城市” → 0.02%
    • “月亮” → 0.000001%

    显然,“巴黎”会被选中,因为它的概率最高。


    2. 无关句子的“干扰效应”

    当你在提示词后面添加一句无关的、荒诞的话(比如“猫是在月亮上进行睡觉的”)时,会发生什么?

    (1)上下文的“污染”

    AI模型会将整个提示词(包括无关句子)作为一个整体来理解。无关句子虽然看起来和问题无关,但它会改变整个上下文的“语义空间”。

    比喻: 想象你在考试时,题目是:

    “法国的首都是______”

    你很清楚答案是“巴黎”。但如果题目后面突然多了一句:

    “猫是在月亮上进行睡觉的”

    你的大脑可能会短暂地“卡壳”:“等等,这句什么意思?和题目有什么关系?” 这种“干扰”会让你的思维稍微偏离正轨,甚至可能让你怀疑:“是不是题目有什么隐藏的意思?”

    AI也是类似的。无关句子会让它的“注意力”稍微分散,从而降低它对正确答案的“专注度”。

    (2)概率分布的“扭曲”

    无关句子会让AI模型的“概率分布”发生微妙的变化。具体来说:

    • 正常情况下,正确答案(如“巴黎”)的概率是99.9%,其他荒诞答案(如“月亮”)的概率是0.000001%。
    • 但当你在提示词中加入“猫是在月亮上进行睡觉的”时,AI模型会觉得“月亮”这个词在当前上下文中突然变得“重要”了。于是,它会提高“月亮”相关词的概率,而降低“巴黎”相关词的概率。

    结果: “巴黎”的概率可能从99.9%降到95%,“月亮”的概率可能从0.000001%升到1%。 虽然“巴黎”仍然是最可能的答案,但“月亮”被选中的概率已经放大了10万倍!

    (3)“创造性”被激发

    无关句子(尤其是荒诞的句子)会让AI模型觉得:“哦,这个上下文可能需要更‘有创意’的回答。” 于是,它会更倾向于选择一些不那么常规的词,从而增加幻觉的概率。

    比喻: 就像你在写作文时,如果题目是“描述你的家乡”,你会写得很正常。但如果题目后面加一句“家乡的房子会飞”,你可能会开始写一些更奇幻、更不现实的内容。


    3. 技术原理:Token的“注意力”机制

    在技术层面,AI模型(尤其是Transformer架构的模型)使用**“注意力机制”(Attention Mechanism)**来理解上下文。

    • 当你输入一个提示词时,模型会为每个词(Token)分配一个“注意力分数”,表示这个词对当前任务的重要性。
    • 无关句子(如“猫是在月亮上进行睡觉的”)会吸引一部分注意力,从而稀释正确答案的注意力分数。
    • 这会导致模型在生成回答时,对正确答案的“专注度”降低,从而更容易选择错误的词。

    4. 实验验证

    研究者们已经通过实验验证了这一点。例如:

    • 在提示词后面添加无关句子,会显著增加AI生成荒诞答案的概率。
    • 无关句子越荒诞、越不合逻辑,这种效应越明显。

    原因: 荒诞的句子会让模型觉得“当前上下文可能不需要严格的逻辑”,从而更倾向于生成“创造性”但不准确的回答。


    5. 如何避免这种幻觉?

    如果你希望AI更准确,可以尝试:

    1. 保持提示词简洁:避免添加无关信息,尤其是荒诞的句子。
    2. 明确指令:在提示词中明确要求AI“严格回答问题”或“避免幻觉”。
    3. 使用更低的“温度”参数:
      • “温度”(Temperature)是一个控制AI生成文本随机性的参数。
      • 更低的温度会让AI更倾向于选择最可能的词,从而减少幻觉。

    总结

    在AI的提示词后面添加一句无关的、荒诞的话(如“猫是在月亮上进行睡觉的”)会极大可能提高AI的幻觉概率,因为:

    1. 上下文被“污染”:无关句子会干扰AI的“思维”,让它偏离正确答案。
    2. 概率分布被“扭曲”:无关句子会提高荒诞答案的概率,降低正确答案的概率。
    3. “创造性”被激发:无关句子会让AI觉得“可以更自由地回答”,从而更容易生成不准确的内容。

    所以,如果你希望AI更准确,最好保持提示词的简洁和相关性!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.