幻觉

它是什么

幻觉指生成的内容读起来自然、具体、甚至格式规范，却与输入、可验证事实或可靠来源不一致。NIST 在生成式 AI 风险画像里用「confabulation（虚构）」来描述这类自信但错误的内容——重点在「自信」，因为不自信的错误很好发现，自信的错误会一路骗过你。

它是生成方式的必然后果，不是偶发故障。理解这一点，后面所有应对手段的逻辑才成立。

为什么需要它

模型的语言流畅度和答案可信度是两件事，但人脑默认把它们绑在一起——这是幻觉真正危险的地方。

它造成的损失往往不是「答错一句话」，而是错误向下游传播：一句编造的客服承诺被写进工单、一个不存在的条款编号被引用进报告、一段错的政策解读被当成依据再做决策。到了下游，它已经被当作事实了。这也是为什么幻觉必须被当作工程问题（有指标、有监控、有兜底），而不是「备注一下让用户注意甄别」。

它如何工作

根因在训练目标：生成模型优化的是在给定上下文里产生合适的下一个 Token，不是「逐句查事实库」。一个说法只要在统计上顺畅、与上文连贯，它就会被生成出来——不管它在世界里是否成立。

它更容易在四种情形下出现：

• 问题含糊或超纲：训练里没有可靠依据，但「继续说下去」的压力仍然存在。
• 上下文缺失或冲突：材料里没写，或者写了两套互相矛盾的说法。
• 解码波动：采样本身带随机性，同一问题两次结果可能不同。
• 要求它给出精确细节（编号、日期、条款名）：这些是低容错、高具体的字段，而模型对它们的「记忆」通常最不可靠。

注意这里没有一条是「模型坏了」。它们都是正常工作方式在特定输入下的输出——这就是「为什么换更大的模型也消不掉它」的答案。

必须澄清的误会

幻觉 ≠ 检索能解决的事。 加上 RAG 确实是目前最有效的缓解手段，但它把问题换了位置，没有消灭问题：检索没召回对片段、召回的是过期版本、或者片段里本来就写着错的——生成阶段再忠实也没用。更隐蔽的一种是带真实引用的幻觉：出处是真的，但结论并不是那个出处支持的。这种最难发现，因为它看起来「有据可查」。

幻觉 vs 不依据（依据性）。 两者相关但不同：幻觉说的是「与事实不符」，依据性说的是「有没有被给定材料支持」。一句无关的玩笑既不依据、也未必错；而一段被真实材料支持、却推出错误结论的回答，依然是幻觉在起作用。分开这两个概念，才能在监控上分开告警——「答得不依据材料」和「答错了」需要不同的修法。

幻觉 ≠ 创造力的失败。 写创意草稿、起名字、编虚构场景时，模型需要的正是「生成合理的新东西」。所以问题不是「要它别编」，而是分清哪一类任务允许编、哪一类必须不编——这个分类得由你来做，模型不会问。

真实例子

用户问一份并不存在的公司制度，模型回答了一个格式完整的答案：文件标题、《员工手册》第 3 章、发布日期 2024 年 6 月、条款编号 3.2.1、以及一条听起来很合理的报销上限。

它像到什么程度？格式、编号惯例、行文口吻全都对，只有一件事是假的：这份文件不存在。而任何内部来源都支持不了这些细节。

这个例子的价值在于它揭示了两件事：幻觉的成本主要在「像」而不在「错」；以及验证幻觉的最快方式不是重读答案，而是去问「这个结论的依据在哪一份材料的哪一段」——答案编得出来，依据给不出来。

什么时候适合与不适合

可以容忍：创意草稿、头脑风暴、虚构写作——新颖性在这里是特性。

不能容忍：事实问答、对外承诺、合规与法律表述、任何会被下游系统当作事实继续处理的内容。

两类场景的应对方式不同：前者只要能改就行，后者需要三件事同时到位——要求给出证据（引到具体材料的具体片段）、允许拒答（明确告诉模型「材料里没有就说没有」比「尽量答」重要得多）、关键结论留人工复核。

最后一条要拎清：「降低幻觉率」不是一个可以承诺到零的目标。 能承诺的是「有指标可测、有兜底可走、关键动作有人管」——把不可控的部分显式地管起来。

亲自试一下

准备 5 个材料里有答案的问题，和 5 个材料里根本没有答案的问题。要求模型只用给定材料作答，并且可以拒答。

逐条记录三件事：答对没有、引用是否真的支持结论、以及材料里没答案时它做了什么。

全程约 25 分钟。观察点是后 5 个问题——它们才是幻觉的探测器。如果它答得又顺又具体、还引用了不存在的页码或条款，说明「允许拒答」这条指令没生效，检索和提示词都得改。前 5 个问题全对，并不能说明这套系统可靠。

接下来学什么

幻觉是第 1 站 地基 · 模型是什么 的失效面；本站回答的是「它为什么不是检索，又为什么必然会编」——这一条正是「必然会编」的下半句。

顺着链路走：想让它「少编」，第 3 站 给知识 的 RAG 提供外部证据，嵌入与检索决定证据取得对不对；想判断它「有没有编」，第 7 站 给判断 的评测与依据性给出可测的判据。

相关概念还可以读 上下文窗口——材料没进窗口，等于没给。

来源与修订

该类失效的定义与「confabulation」这一表述，参考 NIST 的 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile（NIST.AI.600-1，2024-07-26）；「用外部检索证据缓解」的原始方法参考 RAG 论文（arXiv 2005.11401）。

有一处必须写明的边界，也是本站的立场：RAG 是缓解手段，不是消除幻觉的保证。 论文提出的是「把参数化记忆与可检索的外部记忆结合起来生成」这一方法，它并没有承诺事实正确性；把两者混为一谈，会导致团队在接了知识库之后就误以为问题解决了。

修订日期 2026-09-19：本条由生成模板改为决策页——补「必须澄清的误会」一节（对 RAG、对依据性），把「四种更容易出现的输入情形」写成机制，去掉生成期的引用标记，补 boundaries 与 minAction。若 NIST 画像或相关风险评估框架更新，应优先核对定义段再修订。