Sunday面试指南

实时语音 Agent 怎么设计?ASR、LLM、TTS 如何配合处理延迟和用户打断?

下面是模拟面试对话,用来讲解本题,不是真实面经。

🧑‍💻 面试官:实时语音 Agent 是把 ASR、LLM、TTS 串起来吗?

🙋‍♂️ 我:这是常见链路,还需要处理用户何时说完,以及回答如何边生成边播放。

🧑‍💻 面试官:用户在助手说话时改口,停止 TTS 就够了吗?

🙋‍♂️ 我:还要处理已经排队的音频和后续到来的旧结果。

🧑‍💻 面试官:模型历史里写着整段已回答,但用户只听了半句,下一轮会有什么问题?

实时语音的关键,是轮次和播放状态能对上;生成了多少,和用户真正听到多少要分清楚。

面试速答(60 秒版)

链式语音 Agent 通常先由 ASR 把语音转成文字,再让大模型判断和生成回答,最后由 TTS 合成声音并播放。工具调用可以出现在模型处理阶段。

实时交互还需要判断用户何时说完。VAD 判断是否有语音活动,轮次检测再结合语义与停顿判断能否开始回答。流式识别、生成和合成可以减少等待,但整段延迟需要分阶段测量。

用户打断时,要停止或取消旧输出、清理待播音频,并识别晚到的旧结果。历史应当对应用户真正听到的部分。至于已经执行的查询或修改,不能因为停止播放就当它没有发生。

听、想、说,还要管理轮次

知识点详解:用户开口、助手回答和打断,怎样保持同一轮状态

先把听、想、说这三段拆开

假设用户说‘查一下我的包裹’。

输入端持续采集音频。ASR 逐步识别文字,但早期识别结果还可能修正。系统需要决定什么时候提交这轮有效输入,再交给模型处理。模型可能先查询工具,再把结果交给 TTS,最后进入播放队列。

因此,一个流式文字片段出来,不等于用户已经听到了相应声音。生成、合成、送达与播放,各自有状态。

VAD 检出声音,不等于用户说完了

VAD 主要判断音频里有没有语音活动。停顿可能是句子结束,也可能只是用户在想订单号。

如果一停顿就抢答,用户很难把话说完;一直等待很长的静音,又会让助手反应慢。轮次检测需要结合语义、停顿和当前交互方式判断。

用户说‘嗯’也不一定是在改口。有些系统会区分附和与真实打断。具体能力取决于模型、插件和配置,不能用一个固定 VAD 阈值保证所有人的体验。

停顿,不一定是说完了

延迟要沿链路找,不能只换模型

从用户说完到听见助手声音,可能包含断句等待、ASR 完成、模型首段输出、工具等待、TTS 首段合成和传输播放。

先记录这些阶段,才能知道慢在哪里。假设模型很快,系统却等整段 TTS 完成才开始播放,换模型不一定解决问题。可以检查流式分段是否正确,以及当前句子是否具备适合合成的完整边界。

测试时也要使用不同长度与不同停顿的真实输入。文中没有设置虚构的‘一定低于多少毫秒’目标,延迟要求应来自实际产品。

等在哪里,先分段测出来

用户打断以后,旧结果不能继续混进来

假设助手刚说到‘你这个包裹……’,用户突然补充‘查另一个订单’。

系统需要停止旧音频播放,清理待播队列,并按能力取消尚未完成的模型或合成任务。取消不一定瞬间生效,因此可以用输出轮次标识区分旧结果和新结果,晚到的旧音频不再入队。

同时保存用户已经听到的范围。若模型历史仍写着整段回答已完整说出,后续就可能跳过用户根本没听到的解释。播放进度与历史整理需要对应。

用户改口,旧音频不再入队

打断声音,不会撤销已经完成的操作

如果旧轮次只是查询订单,结果可以保留并注明所属请求。如果已经提交了修改收货地址,停止说话不会自动撤销修改。

需要分别记录工具执行状态和语音输出状态。高风险动作可以要求明确确认,并通过后端权限和幂等控制执行。

验收至少包括长停顿、背景声、附和、真正改口、取消后旧音频晚到,以及工具执行完成后被打断。官方机制参考:LiveKit Turns。

生成完成,用户只听到一半

面试官继续追问

端到端语音模型还需要这条链吗?

它可以改变或合并识别、生成与合成的组织方式,具体输出与轮次能力应按模型看。但打断、播放范围和工具副作用仍需要应用处理。

看到 VAD 检出语音就马上停播好吗?

需要结合体验目标。附和或背景声可能造成误打断,应按当前插件与模型能力评估检测与恢复策略。

旧轮次取消了,工具还在执行怎么办?

检查工具是否支持取消,以及操作是否已提交。不可逆副作用要独立记录并反馈,不能靠丢弃旧音频当作撤销。

面试速记卡

  • ASR:语音转文字;TTS:文字转声音。
  • VAD:是否有语音;轮次判断:是否该交给助手回答。
  • 延迟:从断句到实际播放分段测。
  • 打断:取消旧输出、清理队列、识别晚到结果。
  • 历史对应已播放内容,工具副作用单独记录。

公司面试真题

真题根据求职者公开面经整理,题意经过概括,非逐字原话或公司官方题库;本文为 Sunday 的独立解析。

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历