Sunday面试指南

WebArena 和 OSWorld 有什么区别?浏览器 Agent 和电脑操作 Agent 怎么评测?

下面是用于讲题的模拟面试对话。

🧑‍💻 面试官:一个模型在 WebArena 上分数更高,能说明它操作整台电脑也更强吗?

🙋‍♂️ 我:还要看测试环境。浏览器里的网页任务,和跨桌面应用的任务,操作范围不同。

🧑‍💻 面试官:那 Agent 把表格打开、填完几行,就可以算完成任务了吗?

🙋‍♂️ 我:要按任务条件检查最终文件或应用状态。

🧑‍💻 面试官:如果第二次测试沿用了第一次留下的数据,成功率还可信吗?

评测成绩依赖完整实验条件。任务、操作接口、环境初态和验收规则没有对齐,两个成功率就没有直接可比性。

面试速答(60 秒版)

WebArena 是面向网页任务的 Agent 评测环境,原始项目提供可控的网站和任务,让 Agent 在浏览器里完成操作,并通过任务相关规则检查结果。

OSWorld 面向真实电脑环境里的任务,范围可以跨浏览器、文件和桌面应用。还要区分原始 OSWorld 与 OSWorld 2.0,后者强调更长流程、跨来源信息和动态变化,不能把不同版本的成绩直接放在一起比较。

两者都不能只看最后回复。Agent 说“已经保存”,需要确认目标文件或应用状态真的符合要求;只完成几个中间动作,也未必满足整项任务。

实际评测要固定任务、初始环境、观察和操作方式,以及步数、时间和成本预算。每次运行前重置环境,再记录完整轨迹与最终结果。这样才能区分模型没理解任务、动作执行失败,还是测试环境本身出了问题。

网页任务和电脑任务,怎样比较?

知识点详解:成功率前面,还有哪些实验条件?

先说清楚测的是哪一个环境

WebArena 原始项目围绕可复现的网页环境展开,例如网站中的信息查找、配置和内容操作。它通过受控环境减少真实网站不断变化带来的干扰。任务与执行方式见原论文及官方仓库。

OSWorld 的任务范围则可以落到完整桌面。一个目标可能需要先读材料,再用不同应用处理文件,最后保存结果。这里额外涉及窗口、文件、应用状态和跨工具衔接。

这是一种范围差异,不能据此给两个基准排一个永久的难度高低。同样是网页任务,约束和步骤变了也会影响难度。

每次测试都要从约定初态开始

版本变了,任务目标也可能变

当前 OSWorld 2.0 项目说明强调长流程和现实工作中的信息变化。某些任务要处理跨来源证据、隐藏状态或执行中新增的消息。

这时,“记住最开始的指令”还不够。Agent 可能中途看到了新的限制,却没有更新后面的计划;也可能生成了文件,但文件内容不满足原始材料。

因此,报告成绩时要把版本写出来。旧版的一组较短任务和新版的长流程任务,不应只剩下两个没有条件说明的百分比。本文不引用模型排名,也没有复现这些基准。

动作正确和目标完成,是两层检查

假设任务要求“把指定月份符合条件的记录写入表格并保存”。Agent 点击了正确按钮,说明某一步动作成功;如果漏了几条记录,整项任务仍然可能失败。

可以给中间进度设置辅助指标,用来定位问题。例如找到来源、取得目标数据、写入文件,各自走到了哪里。但是,不能把这些局部进度重新命名成完整任务成功率。

最终检查应落到真实对象。表格要检查字段和内容,网站修改要检查目标记录,文件任务要检查实际保存路径及可读取结果。对于不应执行的动作,还要单独检查违规情况,避免被其他任务的成功抵消。

完成了几个动作,不等于完成目标

环境重置,决定这次成绩在测谁

假设第一次运行已经创建了目标表格,第二次还带着同一个文件和登录状态。第二次可能只是找到现成产物就结束,也可能因为重复数据而失败。这两种结果都受前一次运行影响。

因此,每个任务需要明确初始数据、账号、文件、应用和网络条件。完成以后记录结果,再恢复到下一次实验约定的初态。恢复失败的任务要单独标记,不能悄悄当成模型失败或成功。

操作接口也要一致。一个 Agent 只能看截图,另一个能直接读页面结构或调用应用 API,两者拿到的信息不同。步数上限、是否允许批量动作、失败重试和模型版本,也应写入实验配置。

怎样把失败变成可用的证据?

保留观察、动作、工具返回和环境变化,沿轨迹找到偏离任务的第一处。是日期看错了,保存按钮没生效,还是用户后来补充的条件没有进入决策?

同一失败至少保留可重放的输入和验收规则,再复查新版本是否修复。只收集“最后没有完成”的截图,很难判断应该改模型、动作工具、状态管理还是环境部署。

面试官继续追问

能直接拿公司生产后台做基准吗?

应该先建立测试账号和隔离数据,尤其要避免真实发送、删除和付款。生产数据不稳定,也可能使实验不可重复;即使获准测试,仍要明确允许的动作与恢复方法。

Agent 自己写检查脚本,可信吗?

检查脚本可以辅助验收,但标准不能由这次实现临时改变。关键任务应有事先约定的检查器或独立复核,避免 Agent 只验证自己碰巧做出来的那一部分。

只提高步数上限,就能证明模型变强了吗?

它说明增加预算后的表现变化。比较模型能力时要对齐预算,比较可交付方案时则同时报告效果、时间和成本。两种实验目的不同,结论也应分开。

面试速记卡

  • WebArena 原始项目主要测网页任务,OSWorld 覆盖电脑与跨应用任务。
  • 原始 OSWorld 和 OSWorld 2.0 分开标注,版本成绩不能直接混比。
  • 操作、局部进度和完整任务成功分别统计。
  • 固定初态与接口,每次运行前确认环境已重置。
  • 验收检查真实对象,轨迹用来定位首次偏离。

公司面试真题

这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历