Sunday 的面试指南

上下文窗口足够大,为什么大模型还是会漏看长文档中的关键信息?

🧑‍💻 面试官:一份合同有 80 页,完全放得进模型的上下文窗口。用户问“提前解约要付多少违约金”,模型还是漏掉了第 43 页的例外条款。你会怎么解释?

🙋‍♂️ 我:能放进去,只代表输入长度没有超限,不代表模型一定会用对每一条信息。我会先核对第 43 页的条款在解析和最终输入里是否完整,再看回答有没有把一般规则当成唯一规则。

🧑‍💻 面试官:如果确认条款完整在输入里,是不是换个更大的窗口就好了?

🙋‍♂️ 我:窗口更大也不能自动解决“看到了却没用上”。我会先让系统定位和解约相关的条款,把一般规则、例外、生效条件一起提供,而不是让模型在 80 页里自己碰运气。

🧑‍💻 面试官:那是不是所有长文档问题都要做 RAG?

🙋‍♂️ 我:也不是。如果任务是通读整份合同、找跨章节冲突,过早只取几个片段可能丢背景。还是要看问题需要局部证据,还是需要全局理解。

这题的抓手是:“装得下”是容量问题,“用得对”是信息定位与证据使用问题。

面试速答(60 秒版)

上下文窗口变大,解决的是一次能输入多少内容;它不能保证模型对长文档里每个位置、每个例外条件都同样敏感。像合同违约金,正文里可能有一条通用规则,后面又有特殊客户或特定日期的例外。模型读进去了整份合同,仍可能只拿前面的通用规则作答。

我会先检查文档解析和最终输入,确认关键条款确实完整存在。若存在却没用对,就根据任务定位相关章节,把主条款、例外、适用范围和来源一起交给模型,要求回答逐项说明依据。对于跨章节的问题,还要保留足够的全局背景,不能只切出一句话。

最后用几类固定问题验证:答案在开头、中间、结尾,或者需要同时看两处条款。比较不同输入组织方式的准确率和证据引用,而不是只比较窗口大小。

知识点详解:长文档为什么会“看过却没用上”?

第一步,别把“漏看”当成一个原因

还是以 80 页合同为例。用户问提前解约,系统答“支付三个月服务费”。第 43 页写着:如果因供应商连续两次未达到服务标准而解约,可以免除这笔费用。这个合同和条款都是教学假设。

先确认技术事实:PDF 解析是否把第 43 页正文读出来?表格、脚注、扫描页有没有丢?最终发送给模型的输入是否真的包含这段话?如果条款没进输入,问题在解析或组装,不在“模型长上下文能力”。

如果条款完整存在,才讨论模型对长输入的信息利用。早期研究在所测模型和任务中观察到:关键内容放在长输入中间时,使用效果可能比放在开头或结尾差。这个研究说明位置可能影响表现,但不能推出“所有当前模型必然漏看中间内容”。具体系统必须自己测。

80 页合同已进入上下文,但模型回答漏掉第 43 页的例外条款

第二步,让问题和证据靠近,但别切断条件

如果用户只问解约违约金,应用可以先定位“提前解约”“违约金”“服务标准未达标”等相关章节,再将一般条款和例外条款放在一起。这样模型不用从 80 页里自己判断哪段最重要。

但“缩短上下文”也有风险。只检索到“支付三个月服务费”这句话,而没取到后面的例外,答案照样会错。处理合同、制度这类材料时,证据单元应当尽量保留条款编号、适用条件、例外、版本与来源。必要时从命中的短片段回到它所属的整条款或相邻段落。

如果问题变成“合同里有哪些前后冲突的付款义务”,单点检索又可能不够。此时可以先分章节抽取要点,再做跨章节对照,并让最终结论回连到原文。这比把全文直接扔进去或只取三个相似片段,都更符合任务。

第三步,用位置和问题类型来验证

测试时不要只准备“答案在第一页”的问题。可以拿同一批合同条款设计不同问法:单条款可答、需要同时看主规则与例外、需要跨章节比较,以及文档根本没有答案。记录关键条款是否进入输入、模型是否引用正确、最终结论是否遗漏条件。

还可以把同一条关键证据在输入里移到前、中、后,比较结果是否变化。这是诊断实验,不是生产环境里永远把材料塞到开头的万能规则。如果调整位置后效果改善,仍要检查是不是组装方式、噪声比例或证据完整度造成了差异。

面试官继续追问

模型支持超长上下文,就可以不用检索了吗?

不一定。少量短文档或必须全局阅读的任务,直接长上下文可能合适;资料库大、文档常更新、需要权限过滤和来源定位时,检索仍有价值。选型要看任务、成本和可验证性,不是只看窗口上限。

只把检索命中的那一句放进去,可以避免漏看吗?

可能更糟。合同的主规则、例外、适用对象可能分散在相邻段落。只保留一句相似文本,模型更容易给出看似干净但不完整的答案。

怎么证明是位置问题,不是解析漏了?

先保存最终输入,确认原句确实存在且完整;再固定模型和问题,只改变证据位置或输入组织方式,多次比较。若输入本身缺句子,应该先修解析和组装,不能拿位置实验解释。

面试速记卡

  • 窗口大小:决定输入能装多少,不保证每条信息都被正确使用。
  • 排查前提:先确认解析结果和最终输入真的包含关键条款。
  • 证据组织:把主规则、例外和适用条件一起交给模型。
  • 任务区别:局部问答可定位证据,跨章节核对还需全局背景。
  • 验证办法:测不同证据位置、不同问题类型及无答案场景。
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历