Sunday面试指南

ToT 思维树是什么?和 CoT、Self-Consistency 有什么区别?

下面是用于讲题的模拟面试对话。

🧑‍💻 面试官:让模型“想三个方案再选一个”,就是 ToT 吗?

🙋‍♂️ 我:还要看有没有把中间状态展开成分支,并根据评估结果继续搜索。

🧑‍💻 面试官:如果让模型完整回答五次,最后选出现最多的答案呢?

🙋‍♂️ 我:那更接近 Self-Consistency,比较的是多条路径的最终答案。

🧑‍💻 面试官:五次都把同一个条件理解错了,多数票还能证明答案正确吗?

这几个方法的区别,在于什么时候保留选择、什么时候比较结果。增加尝试次数有价值,但评估依据不能凭空消失。

面试速答(60 秒版)

CoT 可以理解为沿着一条中间推理路径逐步得到答案。Self-Consistency 则生成多条有差异的完整路径,再把最终答案归一化,按一致性选出结果。

ToT,也就是 Tree of Thoughts,会把求解过程组织成中间状态构成的树。每一步可以提出几个候选,再评估哪些值得继续展开,必要时放弃当前分支,回到之前的选择。

因此,Self-Consistency 主要比较多条完整路径的结果,ToT 则在中途就做分支选择。ToT 需要额外设计状态、候选生成、评估和搜索预算,调用成本也会增加。

如果任务有可检查的中间状态,而且前面选错会影响后面,树搜索比较有意义。但模型给分和多数票都可能一起出错,最后仍需要用题目约束、程序或其他可靠证据确认结果。

CoT、投票和思维树在哪里做选择?

知识点详解:从一条路径,走到多条路径,再走到中途选择

一条路径为什么容易受早期选择影响?

拿一个简化的 24 点任务来理解。给出 3、3、8、8,允许使用四则运算和括号,每个数字恰好用一次。

如果先算 3 + 3,后面就围绕剩下的 6、8、8 继续尝试。一旦整段输出只是沿当前方向往下写,系统没有显式保存其他候选,就不方便回到之前的选择。

这里讨论的是我们怎样组织求解流程。不能因为模型输出了一段逐步解释,就声称看到了模型内部全部思考。本文也不要求公开私有推理轨迹,工程上可以保存简洁、可验证的中间状态。

Self-Consistency 在完整结果上汇总

现在让模型从同一道题出发,独立生成多条解法。先把每条最终结果提取出来,再把表达相同的答案归到一起,选择更一致的结果。这是 Self-Consistency 原论文的核心思路。

它没有要求每走一步就由外部搜索器裁剪分支。几条完整路径可以同时得到,但“文字看起来不同”不保证错误彼此独立。模型可能反复忽略同一个限制,最后得到一个很一致的错误。

答案的归一化也很重要。不同格式的同一数值不应被拆成几票;无法可靠归类的开放式长答案,则不能简单用字符串相等来投票。

ToT 把中间状态保留下来

ToT 需要把“已经做过哪些选择”和“还剩什么”明确表示出来。仍用这道题举例,一条正确路径可以依次保留这些状态。

已执行的运算剩下可用的数
8 ÷ 33、8、8/3
3 − 8/38、1/3
8 ÷ (1/3)24

同时可以存在其他第一步候选。搜索过程评估它们,再决定下一层从哪些状态继续。这时评估发生在中途,搜索器也有机会保留多个候选或回退。ToT 原论文介绍了这种组织方式,作者的实现仓库提供了 BFS、DFS 等具体实验入口。

注意,保留候选的数量和如何评分,都是实现选择。不是只在提示词里出现“树”和“回溯”,就已经建立了可运行的搜索系统。

思维树要保留什么中间状态?

评估器错了,会把正确分支剪掉

假设评估器觉得出现分数的路径“不像正确答案”,它可能提前丢弃上面的 8/3。后面即使愿意多花调用次数,也到不了被剪掉的解。

因此,可计算任务应尽量用程序检查数字使用、运算合法性和目标值。开放任务可以用模型做启发式筛选,但要承认它的判断有误差。保留多个分支可以降低某些风险,同时也会增加开销。

比较三种方法时,应给相同任务集,记录成功率、模型调用、总 Token 和耗时,并对齐尝试预算。原论文在特定模型和任务上的提升,不应直接写成任意 Agent 都能获得的收益。本文没有复现论文跑分。

剪枝错了,多试也未必有用

面试官继续追问

ToT 一定比 Self-Consistency 好吗?

如果中间状态难评价,树搜索可能花很多调用,却频繁剪错分支。结果容易检查、完整解法成本不高时,多次采样再验证可能更简单。应比较同样预算下完成了多少任务。

能用 ToT 直接做真实退款尝试吗?

分支搜索适合在计划、模拟或隔离环境里展开。真实退款属于外部副作用,不能为了探索分支反复执行。先评估候选,再由受控执行端执行被授权的动作。

遇到开放式报告,没有唯一答案怎么选?

需要把来源、覆盖要求和约束分别定义成可检查条件。模型可以辅助比较表达,但“得到最多赞同”不能代替证据检查,也不能自动证明事实正确。

面试速记卡

  • CoT 沿一条路径求解;Self-Consistency 汇总多条完整路径的答案。
  • ToT 保存中间状态,在搜索过程中选择和展开分支。
  • 状态、生成器、评估器、搜索策略和预算要具体落实。
  • 多数票可能共同出错,剪枝也可能丢掉正确分支。
  • 对齐任务和尝试预算,再比较效果与成本。

公司面试真题

真题根据求职者公开面经整理,题意经过概括,非逐字原话或公司官方题库;本文为 Sunday 的独立解析。

  • 蚂蚁集团 · NLP算法(AI Force) · 原帖未明确批次

    ToT 怎样选择推理路径?(题意整理)

    蚂蚁-NLP算法面经 ↗
    正文记录 10 月 21 日、10 月 24 日面试,未明确面试年份;原帖编辑于 2025-03-25

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历