大模型为什么会产生幻觉？把 Temperature 调到 0 能解决吗？

知识点详解：为什么“更稳定”不等于“更真实”？

先分清模型在做什么

设想一个报销助手收到问题：“今年差旅住宿每晚最多报多少？”应用没有提供今年的制度，也没有让它查询权威系统。此时模型仍然可以根据过去见过的制度表述，生成一句很像真实规定的话。问题不是它故意说谎，而是流畅地续写和查证今年的制度本来就不是同一个动作。

这里有两种常见错误：一种是没有任何适用资料，却补出一个数字；另一种是资料里写着“某城市、某职级才适用 500 元”，回答却把 500 元说成所有员工的统一标准。前者缺证据，后者误用了证据。它们最后都可能表现为“说得挺像那么回事”，但修法不同。

Temperature 改变的是选词方式

生成时，模型会给候选输出不同的概率。调低 Temperature，通常让高概率的选择更占优势；调高它，输出可能更发散。这能影响同一提示下答案的变化程度，却不会凭空补上缺失的制度文件。

比如缺少今年的标准时，模型最倾向说“每晚 500 元”。温度高，它也许有时说 400 元，有时说 500 元；温度低，它也许总说 500 元。**第二种更稳定，但没有因此变得可信。**而且不同服务和模型对采样参数的支持不完全一样，不能把“设为 0”当成跨所有模型的绝对确定性保证。

排查时沿着证据往回走

遇到错误金额，我会先找原始资料：今年制度是否已经发布，里面是否真有这个城市和职级的条款。如果没有，系统应该明确缺资料，不能要求模型“想办法答”。

如果资料存在，再看解析、检索和上下文组装：新版有没有入库？有没有被权限或时间过滤排掉？最终发给模型的是新版条款，还是旧版摘要？这些问题没弄清楚之前，一味重写提示词或调采样参数，可能只是在掩盖真正的故障。

最后才检查生成端。如果适用条款完整进入输入，模型仍把“仅限一线城市”漏掉，就需要约束它保留条件、把金额对应到具体条款，并对金额、日期等关键字段做业务校验。引用不是装饰；如果系统给出来源，就要能查到真实的条款。

“不知道”也需要被设计和测试

只写一句“不要幻觉”，往往不够。应用要定义什么时候没有资格给确定答案：没有权威资料、资料相互冲突、缺少城市或职级等决定条件。对应动作可以是明确说出缺口、向用户补问，或者转给有权限的人确认。

测试集里也不能全是有答案的问题。至少放进几道资料缺失、旧版混入、限制条件容易漏看的题。分别检查系统何时给出确定结论、何时停下来，以及给出的结论能否被材料支持。否则“答题率”提高了，错误承诺也可能一起提高。

面试官继续追问

Temperature 设为 0 后每次回答都一样，可以说幻觉解决了吗？

不能。只能说这组输入下的输出更稳定。拿答案对照权威来源，如果金额、版本或适用条件仍错，它就是稳定地答错。还有些系统的输出变化来自检索结果、工具数据和服务端行为，不只由温度决定。

已经接入 RAG，为什么还会幻觉？

RAG 只是给模型提供资料的路径。资料可能没有覆盖问题、检索可能找错、上下文可能截掉限制条件；模型也可能看到了正确条款却用错。应把“是否找到资料”“是否交给模型”“是否按资料作答”分开核对。

所有不确定的问题都转人工，会不会太保守？

会。需要按风险和缺口分层：缺一个城市信息，可以先补问；低风险的说明性问题，可以标注不确定性；涉及报销额度、权益或对外承诺，就不能猜。目标不是让模型永远不回答，而是让确定结论有确定依据。

面试速记卡

• 幻觉：答案看似合理，但缺少可靠依据或与证据冲突。
• Temperature：主要调输出随机性，不负责查证事实。
• 稳定的错答：每次都答一样，不等于答对。
• 排查顺序：先看资料和证据链，再看模型如何使用证据。
• 工程兜底：证据不足时补问、拒绝确定结论或转人工，并用无答案样本回归。