τ-bench 和 τ²-bench 是什么?如何评测 Agent 的工具调用与用户协作?
下面是一段模拟面试对话。
🧑💻 面试官:Agent 回复“已完成退款”,你会把这次任务记为成功吗?
🙋♂️ 我:要检查它有没有调用退款工具,工具是不是成功了。
🧑💻 面试官:工具调用成功,但退错了订单呢?流程规定需要用户确认,它却跳过了确认呢?
🙋♂️ 我:还要核对目标订单和政策要求。
🧑💻 面试官:如果问题只能由用户在自己设备上操作,Agent 得指导用户完成。现在你又怎么测?
交互评测要看「双方做完以后,环境变成了什么」。对话听起来合理,只能说明表达通顺。
面试速答(60 秒版)
τ-bench 是一套评测工具、Agent 和用户交互的基准。它给 Agent 提供领域工具和规则,再由模拟用户与 Agent 进行对话,最后检查任务要求的环境结果是否实现。原始论文。
例如客服 Agent 要处理账户操作,就需要问清用户要求、遵守政策,并调用正确工具。不能因为它最后说“已经处理好了”,就认为任务成功。
τ²-bench 进一步引入双控制环境:Agent 和模拟用户都能通过各自的工具影响环境。Agent 除了自己操作,还要指导用户完成只能由用户进行的步骤。τ²-bench 论文。
因此,这类基准适合检查多轮交互、工具使用与协作,但成绩仍然受任务集、模拟器、模型配置和执行预算影响。比较结果以前,必须先把这些条件对齐。

知识点详解:从“回复成功”走到“任务成功”
一次测试需要准备哪些东西?
可以先把一次测试拆开看。用户有一个待完成目标,Agent 看到领域规则和可用工具,工具会读取或改变环境中的数据。
用户往往不会在第一句话里给出全部信息。因此,测试里还需要一个模拟用户,它根据任务设定和对话继续回应。
测试结束以后,评测程序核对指定的目标结果。τ-bench 的原始设计会比较对话结束时的数据库状态与标注的目标状态,不靠另一个模型听最后一句话来判断完成。
如果 Agent 正确调用了某个接口,但参数指向另一条记录,环境变化就对不上。这比只统计工具请求有没有合法 JSON 更接近真实任务。
目标状态和完整执行过程要一起看
假设目标是取消用户指定的一笔订单,政策要求先核实身份并取得确认。这里是教学场景,不是对数据集某条任务的逐字复述。
一次执行可能出现不同结果:取消了正确订单;取消了其他订单;根本没取消,却告诉用户成功;结果正确,但跳过了必要确认。
只看最后一句回复,这些情况可能很像。只看环境终态,又可能漏掉过程中的违规。因此,开发自己的评测时,可以把完成条件和过程规则分别记录。
基准具体怎样计分,要回到其任务定义和 evaluator 实现。我们不能把自己额外增加的政策门禁,当作所有版本都采用的评分方式。官方实现。

τ²-bench 增加的是双方共同操作的难度
原来,Agent 可以自己调用业务工具完成很多动作。双控制任务中,另一部分动作只能由用户进行。
例如排查网络问题,Agent 可以查询服务端状态,但设备设置需要用户操作。Agent 要说明具体操作,让用户执行,再根据返回状态判断下一步。
这时,失败可能来自几处:判断原因错误;解释不清导致用户操作错误;用户操作以后,Agent 没有检查状态;或者两边都做对了,但顺序不符合任务要求。
因此,协作能力不能由“工具调用次数少”直接表示。有时多问一句确认,正好能避免执行错动作。τ²-bench 的双控制环境就是为了把这类交互问题放进测试。

怎么把评测结果用于自己的项目?
先选择与产品相近的任务,再记录固定的环境、政策、模型、工具定义和最大执行预算。不要只留一张排行榜截图。
失败任务应该能回放:Agent 当时拿到什么信息,提出了什么请求,用户怎样回应,工具怎样改变环境。这样才能区分模型判断、工具实现和沟通问题。
产品还有自己的错误代价。越权、操作错账户等问题可以设为硬门禁,不由平均任务完成率抵消。这是应用评测设计,不是对基准排行榜额外规则的猜测。
面试官继续追问
换一个用户模拟器,结果会变化吗?
可能会。模拟用户回答的方式、补充信息的时机和执行行为,都会改变交互路径。
因此,比较配置时应固定模拟器条件;做产品验证时,还要补上真实用户常见的模糊表达和误操作。
SWE-bench 的高分能证明这类任务做得好吗?
不能直接证明。代码修复与客服协作要求的工具、环境和完成条件不同。
一个 Agent 很擅长修改仓库,不表示它能稳定处理需要身份校验、政策判断和用户操作的任务。
成功一次以后,还需要重复测吗?
需要。多轮路径可能受到模型输出和用户回应影响。重复执行能观察稳定性,但要保留每次轨迹,并使用该版本定义的指标。
本文讨论任务环境与协作机制,不把不同指标名称混用,也不引用未经同条件复测的性能数字。
面试速记卡
- τ-bench:在工具、规则和模拟用户环境中评测多轮任务。
- 成功条件:核对指定环境结果,不只看最终回复。
- τ²-bench:Agent 与用户都能操作,协作本身成为难点。
- 排查方法:回放信息、请求、用户动作与环境变化。
- 成绩比较:任务版本、模拟器、模型和预算必须对齐。
公司面试真题
这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。
浏览公司面试真题 →