大模型的 Temperature、Top-p、Top-k 有什么区别？生成参数应该怎么调？

知识点详解：一次生成，先有候选概率，再选择下一 Token

Temperature 改的是概率倾向

模型先为词表中的候选产生 logits，再转换成概率。常见温度处理是先把 logits 除以 T，再做 softmax。

T 小于 1 时，较高 logits 的优势通常会被放大；T 大于 1 时，差距会被压平。它不是把每个概率简单乘以温度，因为最终还要重新归一化。

这意味着，温度降低主要减少选择上的随机性。如果错误候选本来就是最高概率项，它仍可能被更稳定地选中。

T = 0 的接口行为要单独看文档，普通公式不能直接除以零。服务可能将它解释为贪心选择或采用特殊处理，不能把不同产品的规则混用。Transformers 参数说明

Top-k 和 Top-p 用两种办法缩小范围

假设某轮候选概率如下，数字仅用于教学：

候选	概率
A	0.50
B	0.30
C	0.15
D	0.05

Top-k = 2，就保留 A、B，然后对保留项重新归一化再采样。

Top-p = 0.9，先取 A，累计 0.5；加 B 后是 0.8，还没达到要求；再加 C，累计 0.95。因此保留 A、B、C。

Top-p = 0.9 不是“只取概率大于 0.9 的 Token”，也不是固定拿九成数量。它限制的是累计概率质量。

如果模型非常确定，Top-p 可能只保留很少的项；分布比较平时，可能需要很多项才能达到同一个 p。

一起设置，不一定等于你手算的过程

温度会先改变分布，而 Top-k、Top-p 会筛选候选。具体组合顺序、边界处理、默认值及其他处理器，要按服务实现确认。

因此，上面的表是分别解释两个截断方法，不是在承诺所有接口都会按这张原始概率表同时执行。

以 Transformers 为例，是否启用采样还受到 do_sample 等生成配置影响。应用如果实际执行的是贪心解码，只改一个采样参数，可能并不会改变解码方式。

调试时要保存最终生效的配置，不只是前端提交的值。模型默认配置、后端覆盖和不支持的字段，都可能造成“我明明改了，怎么没变化”。

调参要围绕任务，不围绕玄学数值

假设任务是抽取日期，应检查字段正确、格式符合要求以及缺资料时是否胡填。假设任务是生成标题，则可以额外比较表达多样性。

先保留一个明确的基线，再改变一个参数，观察固定任务集。不要一口气修改三个参数后，只凭一条回答顺眼就宣布优化成功。

如果问题是证据缺失，应该补检索或校验；如果是格式错误，可能需要结构化输出；如果是不可重复，才重点检查采样和执行环境。不同故障不该全部归结成“温度太高”。

面试官继续追问

温度低，可以保证每次输出完全一样吗？

不能直接保证。接口实现、模型更新、数值计算和其他配置都可能影响结果。需要重复性时，应固定可控条件，并实际验证。

Top-k = 1 是什么意思？

如果这一筛选规则确实生效，就只剩最高概率候选，后续没有多个候选可供随机选择。但仍要确认并列值、处理器和接口行为。

为什么更有创造性的回答也可能更容易跑偏？

扩大低概率候选的参与范围会增加多样性，但多样性不等于质量。任务有事实和格式约束时，需要一起评测，而不是只追求新鲜表达。

面试速记卡

• Temperature：调整概率分布的尖锐程度。
• Top-k：按概率保留固定数量的头部候选。
• Top-p：保留累计概率达到 p 的最小头部集合。
• 生效条件：确认采样方式、接口支持和处理顺序。
• 调参边界：减少随机性不等于纠正事实错误。