Sunday面试指南

τ-bench 和 τ²-bench 是什么?如何评测 Agent 的工具调用与用户协作?

下面是一段模拟面试对话。

🧑‍💻 面试官:Agent 回复“已完成退款”,你会把这次任务记为成功吗?

🙋‍♂️ 我:要检查它有没有调用退款工具,工具是不是成功了。

🧑‍💻 面试官:工具调用成功,但退错了订单呢?流程规定需要用户确认,它却跳过了确认呢?

🙋‍♂️ 我:还要核对目标订单和政策要求。

🧑‍💻 面试官:如果问题只能由用户在自己设备上操作,Agent 得指导用户完成。现在你又怎么测?

交互评测要看「双方做完以后,环境变成了什么」。对话听起来合理,只能说明表达通顺。

面试速答(60 秒版)

τ-bench 是一套评测工具、Agent 和用户交互的基准。它给 Agent 提供领域工具和规则,再由模拟用户与 Agent 进行对话,最后检查任务要求的环境结果是否实现。原始论文。

例如客服 Agent 要处理账户操作,就需要问清用户要求、遵守政策,并调用正确工具。不能因为它最后说“已经处理好了”,就认为任务成功。

τ²-bench 进一步引入双控制环境:Agent 和模拟用户都能通过各自的工具影响环境。Agent 除了自己操作,还要指导用户完成只能由用户进行的步骤。τ²-bench 论文。

因此,这类基准适合检查多轮交互、工具使用与协作,但成绩仍然受任务集、模拟器、模型配置和执行预算影响。比较结果以前,必须先把这些条件对齐。

Agent 评测:看结果,也看过程

知识点详解:从“回复成功”走到“任务成功”

一次测试需要准备哪些东西?

可以先把一次测试拆开看。用户有一个待完成目标,Agent 看到领域规则和可用工具,工具会读取或改变环境中的数据。

用户往往不会在第一句话里给出全部信息。因此,测试里还需要一个模拟用户,它根据任务设定和对话继续回应。

测试结束以后,评测程序核对指定的目标结果。τ-bench 的原始设计会比较对话结束时的数据库状态与标注的目标状态,不靠另一个模型听最后一句话来判断完成。

如果 Agent 正确调用了某个接口,但参数指向另一条记录,环境变化就对不上。这比只统计工具请求有没有合法 JSON 更接近真实任务。

目标状态和完整执行过程要一起看

假设目标是取消用户指定的一笔订单,政策要求先核实身份并取得确认。这里是教学场景,不是对数据集某条任务的逐字复述。

一次执行可能出现不同结果:取消了正确订单;取消了其他订单;根本没取消,却告诉用户成功;结果正确,但跳过了必要确认。

只看最后一句回复,这些情况可能很像。只看环境终态,又可能漏掉过程中的违规。因此,开发自己的评测时,可以把完成条件和过程规则分别记录。

基准具体怎样计分,要回到其任务定义和 evaluator 实现。我们不能把自己额外增加的政策门禁,当作所有版本都采用的评分方式。官方实现。

最终一句话不能代替任务证据

τ²-bench 增加的是双方共同操作的难度

原来,Agent 可以自己调用业务工具完成很多动作。双控制任务中,另一部分动作只能由用户进行。

例如排查网络问题,Agent 可以查询服务端状态,但设备设置需要用户操作。Agent 要说明具体操作,让用户执行,再根据返回状态判断下一步。

这时,失败可能来自几处:判断原因错误;解释不清导致用户操作错误;用户操作以后,Agent 没有检查状态;或者两边都做对了,但顺序不符合任务要求。

因此,协作能力不能由“工具调用次数少”直接表示。有时多问一句确认,正好能避免执行错动作。τ²-bench 的双控制环境就是为了把这类交互问题放进测试。

τ²-bench:双方都可能改变环境

怎么把评测结果用于自己的项目?

先选择与产品相近的任务,再记录固定的环境、政策、模型、工具定义和最大执行预算。不要只留一张排行榜截图。

失败任务应该能回放:Agent 当时拿到什么信息,提出了什么请求,用户怎样回应,工具怎样改变环境。这样才能区分模型判断、工具实现和沟通问题。

产品还有自己的错误代价。越权、操作错账户等问题可以设为硬门禁,不由平均任务完成率抵消。这是应用评测设计,不是对基准排行榜额外规则的猜测。

面试官继续追问

换一个用户模拟器,结果会变化吗?

可能会。模拟用户回答的方式、补充信息的时机和执行行为,都会改变交互路径。

因此,比较配置时应固定模拟器条件;做产品验证时,还要补上真实用户常见的模糊表达和误操作。

SWE-bench 的高分能证明这类任务做得好吗?

不能直接证明。代码修复与客服协作要求的工具、环境和完成条件不同。

一个 Agent 很擅长修改仓库,不表示它能稳定处理需要身份校验、政策判断和用户操作的任务。

成功一次以后,还需要重复测吗?

需要。多轮路径可能受到模型输出和用户回应影响。重复执行能观察稳定性,但要保留每次轨迹,并使用该版本定义的指标。

本文讨论任务环境与协作机制,不把不同指标名称混用,也不引用未经同条件复测的性能数字。

面试速记卡

  • τ-bench:在工具、规则和模拟用户环境中评测多轮任务。
  • 成功条件:核对指定环境结果,不只看最终回复。
  • τ²-bench:Agent 与用户都能操作,协作本身成为难点。
  • 排查方法:回放信息、请求、用户动作与环境变化。
  • 成绩比较:任务版本、模拟器、模型和预算必须对齐。

公司面试真题

这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历