Sunday面试指南

BFCL 是什么?如何评测大模型的工具选择、参数生成和多轮调用?

下面是用于讲题的模拟面试对话。

🧑‍💻 面试官:模型能稳定输出工具调用 JSON,工具调用能力就过关了吗?

🙋‍♂️ 我:还需要看工具是否选对、参数是否正确,以及该不该调用工具。

🧑‍💻 面试官:第一步查到了客户编号,第二步却仍然把客户姓名当编号传入,单轮题能看出来吗?

🙋‍♂️ 我:需要连续执行的任务,才能检查它会不会使用前一步的结果。

🧑‍💻 面试官:那 BFCL 分数很高,就能直接用来决定我们退款 Agent 的模型吗?

工具调用评测要沿着“该不该调、调哪个、参数是什么、结果怎么接着用”往下看。公开基准补不了项目自己的权限与业务规则。

面试速答(60 秒版)

BFCL 是 Berkeley Function Calling Leaderboard,用来评估模型的函数与工具调用能力。它关注的不只是格式合法,还包括工具选择、参数生成、多个调用以及多轮任务中的行为。

不同类型的测试,检查方式也不同。有的适合比较解析后的函数名和参数,有的需要执行调用,观察返回结果或最终环境状态。多轮场景还要看模型能否使用前一步反馈,在信息不足时继续获取信息。

所以,读 BFCL 成绩时要先说明版本和测试类别。当前官网是 V4 榜单,讲多轮机制时也能引用 V3 的说明,但两者不能不加区分地混用分数。

实际选型可以用它筛出候选模型,再在自己的工具定义、权限、异常和成本约束下做评测。高分说明在基准条件下表现较好,不能替代退款、越权和重复执行这些业务测试。

BFCL 看工具调用的哪几层?

知识点详解:把工具调用拆成可以定位的错误

JSON 合法,只是输入能被解析

假设用户问“查一下本月已经结清的账单”。系统提供查询账单和删除账单两个工具。

模型即使输出一个语法完全合法的删除请求,也没有完成目标。再比如工具选对了,却把月份写成全年,或者漏掉“已结清”的过滤条件,同样是调用错误。

因此,一份测试样本至少要保留用户问题、工具说明、预期调用约束和评分方式。不要用“解析成功”一个指标同时代表工具选择和参数正确。BFCL 项目介绍区分了不同调用测试和评估方式。

为什么不能只比较整段字符串?

参数键顺序、空白和格式变化,不一定改变调用含义。相反,把字段名写错一个字,可能已经调用不了。

这就需要先解析结果,再按照测试规则比较函数名和参数。允许哪些等价形式,应由题目契约决定。涉及实际函数行为时,还需要执行或检查状态,不能只看表达相似。

但执行成功也要小心解释。查询接口没有报错,不代表过滤条件正确;一个工具返回“成功”,也未必能证明真实任务达到目标。评分对象应是题目要求的效果。

结构匹配与实际执行怎样互补?

多轮测试新增了信息依赖

继续假设用户只提供客户姓名,查询账单需要客户编号。模型要先搜索客户,接回编号,再调用账单工具。如果查询结果有两个同名客户,就需要澄清,不能随便选一个。

这里还要区分多步和多轮。用户只提一次要求,模型内部连续调用多个工具,属于多步;用户继续澄清或追问,则形成多轮用户交互。两种情况都需要使用先前信息,但统计单位不同。

第一步参数正确,不能抵消第二步忽略反馈;多调用几次,也不一定是在推进任务。BFCL V3 多轮说明专门讨论了这些条件。

记录失败时,可以标明错误发生在工具选择、参数、信息依赖还是停止判断。这样模型换版或工具描述调整以后,才知道哪类错误真的减少了。

前一步查到的编号,下一步要真的用

公开成绩怎样接到项目评测?

先记录榜单版本、模型版本和调用模式,再检查与你的项目接近的分项。当前 BFCL 官网展示 V4,不能把另一个版本的总分拿来直接排序。

项目内的测试则需要加入自己的问题。例如账单工具要求当前租户、只能读有权限的账单、工具超时不能变成随意重试。预期拒绝的调用必须单独统计,不能被大量简单查询的成功掩盖。

最后再比较端到端完成率、每次成功任务成本和耗时。一个更会选工具的模型,仍可能因为轮数过多或依赖太慢,不适合当前产品。本文核对了基准与评分机制,没有运行 BFCL 或给模型编造分数。

面试官继续追问

BFCL 和 τ-bench 是一回事吗?

它们有不同的任务组织和评测重点。BFCL 围绕工具调用能力展开,τ 系列更强调具体环境中的任务与交互。要比较能力,先对齐任务、用户参与方式和验收规则,不能把百分比当成同一单位。

能把公开测试集都加进提示词吗?

评测集不能再充当答案示例,否则测到的可能只是对测试内容的适配。改工具描述可以用训练或开发样本,最终仍需要未参与调整的保留集。

工具名和参数正确,能证明安全了吗?

安全还涉及可信身份、对象权限、数据范围和操作副作用。格式正确的请求同样可能越权,这些要求应在工具执行端校验,并有独立的拒绝用例。

面试速记卡

  • BFCL 评测函数与工具调用能力,读成绩先确认版本和分项。
  • 格式、工具选择、参数、反馈使用和任务效果分别检查。
  • 单轮正确不能替代多轮信息依赖的验证。
  • 结构匹配和执行评测各有适用范围,不只比较文本。
  • 公共基准筛选候选,项目测试补齐权限、异常和成本要求。

公司面试真题

这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历