WebArena 和 OSWorld 有什么区别?浏览器 Agent 和电脑操作 Agent 怎么评测?
下面是用于讲题的模拟面试对话。
🧑💻 面试官:一个模型在 WebArena 上分数更高,能说明它操作整台电脑也更强吗?
🙋♂️ 我:还要看测试环境。浏览器里的网页任务,和跨桌面应用的任务,操作范围不同。
🧑💻 面试官:那 Agent 把表格打开、填完几行,就可以算完成任务了吗?
🙋♂️ 我:要按任务条件检查最终文件或应用状态。
🧑💻 面试官:如果第二次测试沿用了第一次留下的数据,成功率还可信吗?
评测成绩依赖完整实验条件。任务、操作接口、环境初态和验收规则没有对齐,两个成功率就没有直接可比性。
面试速答(60 秒版)
WebArena 是面向网页任务的 Agent 评测环境,原始项目提供可控的网站和任务,让 Agent 在浏览器里完成操作,并通过任务相关规则检查结果。
OSWorld 面向真实电脑环境里的任务,范围可以跨浏览器、文件和桌面应用。还要区分原始 OSWorld 与 OSWorld 2.0,后者强调更长流程、跨来源信息和动态变化,不能把不同版本的成绩直接放在一起比较。
两者都不能只看最后回复。Agent 说“已经保存”,需要确认目标文件或应用状态真的符合要求;只完成几个中间动作,也未必满足整项任务。
实际评测要固定任务、初始环境、观察和操作方式,以及步数、时间和成本预算。每次运行前重置环境,再记录完整轨迹与最终结果。这样才能区分模型没理解任务、动作执行失败,还是测试环境本身出了问题。

知识点详解:成功率前面,还有哪些实验条件?
先说清楚测的是哪一个环境
WebArena 原始项目围绕可复现的网页环境展开,例如网站中的信息查找、配置和内容操作。它通过受控环境减少真实网站不断变化带来的干扰。任务与执行方式见原论文及官方仓库。
OSWorld 的任务范围则可以落到完整桌面。一个目标可能需要先读材料,再用不同应用处理文件,最后保存结果。这里额外涉及窗口、文件、应用状态和跨工具衔接。
这是一种范围差异,不能据此给两个基准排一个永久的难度高低。同样是网页任务,约束和步骤变了也会影响难度。

版本变了,任务目标也可能变
当前 OSWorld 2.0 项目说明强调长流程和现实工作中的信息变化。某些任务要处理跨来源证据、隐藏状态或执行中新增的消息。
这时,“记住最开始的指令”还不够。Agent 可能中途看到了新的限制,却没有更新后面的计划;也可能生成了文件,但文件内容不满足原始材料。
因此,报告成绩时要把版本写出来。旧版的一组较短任务和新版的长流程任务,不应只剩下两个没有条件说明的百分比。本文不引用模型排名,也没有复现这些基准。
动作正确和目标完成,是两层检查
假设任务要求“把指定月份符合条件的记录写入表格并保存”。Agent 点击了正确按钮,说明某一步动作成功;如果漏了几条记录,整项任务仍然可能失败。
可以给中间进度设置辅助指标,用来定位问题。例如找到来源、取得目标数据、写入文件,各自走到了哪里。但是,不能把这些局部进度重新命名成完整任务成功率。
最终检查应落到真实对象。表格要检查字段和内容,网站修改要检查目标记录,文件任务要检查实际保存路径及可读取结果。对于不应执行的动作,还要单独检查违规情况,避免被其他任务的成功抵消。

环境重置,决定这次成绩在测谁
假设第一次运行已经创建了目标表格,第二次还带着同一个文件和登录状态。第二次可能只是找到现成产物就结束,也可能因为重复数据而失败。这两种结果都受前一次运行影响。
因此,每个任务需要明确初始数据、账号、文件、应用和网络条件。完成以后记录结果,再恢复到下一次实验约定的初态。恢复失败的任务要单独标记,不能悄悄当成模型失败或成功。
操作接口也要一致。一个 Agent 只能看截图,另一个能直接读页面结构或调用应用 API,两者拿到的信息不同。步数上限、是否允许批量动作、失败重试和模型版本,也应写入实验配置。
怎样把失败变成可用的证据?
保留观察、动作、工具返回和环境变化,沿轨迹找到偏离任务的第一处。是日期看错了,保存按钮没生效,还是用户后来补充的条件没有进入决策?
同一失败至少保留可重放的输入和验收规则,再复查新版本是否修复。只收集“最后没有完成”的截图,很难判断应该改模型、动作工具、状态管理还是环境部署。
面试官继续追问
能直接拿公司生产后台做基准吗?
应该先建立测试账号和隔离数据,尤其要避免真实发送、删除和付款。生产数据不稳定,也可能使实验不可重复;即使获准测试,仍要明确允许的动作与恢复方法。
Agent 自己写检查脚本,可信吗?
检查脚本可以辅助验收,但标准不能由这次实现临时改变。关键任务应有事先约定的检查器或独立复核,避免 Agent 只验证自己碰巧做出来的那一部分。
只提高步数上限,就能证明模型变强了吗?
它说明增加预算后的表现变化。比较模型能力时要对齐预算,比较可交付方案时则同时报告效果、时间和成本。两种实验目的不同,结论也应分开。
面试速记卡
- WebArena 原始项目主要测网页任务,OSWorld 覆盖电脑与跨应用任务。
- 原始 OSWorld 和 OSWorld 2.0 分开标注,版本成绩不能直接混比。
- 操作、局部进度和完整任务成功分别统计。
- 固定初态与接口,每次运行前确认环境已重置。
- 验收检查真实对象,轨迹用来定位首次偏离。
公司面试真题
这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。
浏览公司面试真题 →