MCP 工具的 content、structuredContent 和 isError 有什么区别?
区分 MCP content、structuredContent、isError 与 JSON-RPC error,解释输出 Schema、协议版本兼容和业务成功判断,避免把 HTTP 200 当任务完成。
RAG 面试题合集:从文档切割、Embedding、向量检索到多路召回、Query 改写与幻觉治理,检索增强全链路的高频考点。
共 25 篇文章
区分 MCP content、structuredContent、isError 与 JSON-RPC error,解释输出 Schema、协议版本兼容和业务成功判断,避免把 HTTP 200 当任务完成。
解释 MCP readOnlyHint、destructiveHint、idempotentHint 和 openWorldHint 的语义与默认值,说明工具自述为何不能替代授权和实际幂等。
讲清 LangChain ToolRuntime 的依赖注入和双语言入口,区分模型业务参数、可信用户身份、状态与 Store,说明工具授权和返回裁剪。
解释 LangGraph 输入输出 Schema 和内部状态的分工,实测 invoke 与 values 的字段差异,并说明流式接口、日志和模型输入怎样防泄露。
通过双语言示例解释 LangGraph 追加 reducer 为什么不能用空列表清空,展示 Overwrite 的一次替换语义、并行冲突和历史保留边界。
用 TypeScript 与 Python 验证 LangGraph RetryPolicy 的尝试次数和错误筛选,解释节点重跑、退避、超时与外部副作用的安全边界。
区分 LangGraph State、Runtime Context 与 Config,说明任务状态、可信依赖和线程配置怎样传递,以及恢复运行时需要重新提供什么。
对比 LangGraph sync、async、exit 的检查点保存时机,解释进程崩溃后的恢复差异,以及持久化为何不能替代业务幂等。
沿请求和响应解释 Spring AI Advisor 链的执行顺序、短路返回、工具循环与流式处理,避免把 Advisor 当成另一种 Tool。
从 TypeScript 项目说明 Mastra 的 Agent、Workflow、工具与存储如何配合,重点解释服务端执行、暂停恢复和运行身份的权限边界。
解释 Haystack Component、Pipeline 与 Agent 的分工和组合,讲清组件输入输出、数据转换、执行退出原因与任务验收的边界。
梳理 Microsoft Agent Framework 与 Semantic Kernel、AutoGen 的承接关系,解释 Agent、会话和工作流职责,以及迁移时该验证哪些真实行为。
讲清 PydanticAI 的 Agent 配置、RunContext 依赖注入和类型化输出,结合订单查询说明模型参数、可信身份、结构校验与业务授权的区别。
解释 MCP MRTR 如何通过 input_required 和 inputResponses 补齐工具输入,区分正常补充、网络重试、任务变化和授权。
解释 MCP 2026-07-28 无状态协议的请求信息、可选发现和业务状态,说明取消协议会话不等于服务端不能保存任务。
比较 LangChain ProviderStrategy 与 ToolStrategy,说明模型原生结构化输出、工具参数输出、Schema 校验和事实核对的边界。
用 TS 和 Python 示例解释 LangGraph Command 的 update、goto 与条件边,说明静态边为什么仍会执行,以及如何验证路由。
比较 WebArena 与 OSWorld 的任务环境、操作接口、版本和验收方式,理解浏览器与电脑操作 Agent 为什么不能直接横比分数。
拆解 BFCL 的工具选择、参数生成和多轮调用评测,说明 AST 校验、执行验收与业务任务成功率为何不能混为一谈。
比较 CoT、Self-Consistency 与 ToT,讲清完整答案投票和中间状态搜索,说明剪枝、预算与外部副作用的约束。
解释 Claude Code Hooks 的事件、匹配规则和处理器,区分 PreToolUse 检查、PostToolUse 观察与真正的系统权限隔离。
比较 Browser Use 开源库与 Playwright 脚本的执行路径、页面反馈和动作扩展,分析任务验收、成本、会话与高风险操作的边界。
比较 Google ADK 的 LlmAgent 与顺序、并行、循环工作流 Agent,用文档处理说明模型决策、固定编排和输出状态怎样组合。
讲清 OpenAI Agents SDK 中 Agent 配置、Runner 运行循环和 Responses API 的分工,用订单查询与退款超时解释权限、恢复和幂等边界。
实时语音 Agent 如何组织 ASR、LLM 和 TTS?解释 VAD、轮次判断、首音频延迟和用户打断,重点说明取消生成、清空播放队列与只保留已播放内容的状态设计。
SDD 规格驱动开发如何配合 AI 编程?用通知订阅功能解释 Spec、Plan、Task 的分工,说明如何把需求变成验收条件、管理变更,并区分项目规则和功能规格。
ReWOO 与 ReAct 有什么区别?用带依赖的两次查询解释 Planner、Worker、Solver 和证据变量,说明提前规划的收益、前提,以及工具失败或路径变化时的限制。
DSPy 如何自动优化提示词?用客服分类解释 Signature、Module、样本、评测指标与优化器的关系,区分提示优化和微调,说明数据泄漏及指标误设的风险。
Responses API 与 Chat Completions 有什么区别?对照消息和 Items、工具调用结果、会话状态和输出读取方式,解释迁移时哪些责任仍由应用承担。
n8n 与 Dify 应该怎么选?用文件更新与知识问答场景,比较外部系统自动化和 AI 应用编排,并说明组合使用时的任务 ID、幂等与状态交接。
CrewAI 和 AutoGen 如何组织多 Agent 协作?比较任务与团队、消息和 AgentChat 的抽象,说明终止、失败交接及 AutoGen 当前维护状态,给出条件化选型方法。
OpenClaw 如何接收消息并执行任务?沿一次文件整理请求,讲清 Gateway、会话路由、Agent 运行时、模型和工具的分工,以及权限和恢复边界。
τ-bench 与 τ²-bench 分别评测什么?从模拟用户、领域规则、工具操作和环境结果讲起,解释用户也能操作时的协作问题,以及为何不能只凭最终回复判成功。
MCP Apps 如何让工具提供交互界面?本文拆开工具数据、UI 资源和宿主沙箱的关系,说明界面如何再次调用工具,以及按钮显示与操作权限为什么要分开。
Dify Chatflow 与 Workflow 如何选择?从运行入口、会话变量和输出方式说明区别,再用多轮报告场景解释为什么保留历史不等于本轮一定会正确使用。
Claude Agent SDK 和直接调用 Claude API 有什么区别?用编程助手的一次工具执行过程,讲清运行循环、会话、授权与部署职责,避免把 SDK 当成托管服务。
Deep Agents 不是 LangGraph 的替代品。本文从规划、文件后端、子 Agent 与底层运行时讲清三者分工,并说明预置能力的使用边界与选型方法。
Agent 记忆投毒会让不可信内容影响后续会话。本文说明来源保留、写入审核、检索隔离、工具权限检查与污染记忆撤销。
解释 LongMemEval 与 LoCoMo 的测试对象,用可复查的历史与真值拆分记忆写入、检索和回答错误,并说明版本与评测条件如何对齐。
比较 LLMLingua 提示词压缩与对话摘要,区分系列算法,说明否定、数字和代码信息损失的风险,以及端到端收益应该怎样评测。
用项目语言偏好讲清 LangMem 请求内写入与后台整理,逐步分析跨会话可见性、原子版本检查、幂等重试和可靠恢复。
用人员调动场景讲清 Zep 与 Graphiti 的关系、时序知识图谱和双时间信息,解释历史查询、增量更新与抽取错误的边界。
解释 MemGPT 如何在有限窗口与外部存储之间调入调出信息,区分模型决策和应用执行,并说明分层记忆并不等于无限上下文。
按报错、符号和自然语言需求比较 Grep 与代码库索引,解释结果如何扩展成有效代码上下文,以及怎样防止使用旧分支或旧文件。
Agent 记忆检索需要结合任务范围、查询时间、相关性、重要性与来源,不能只按向量相似度排序。本文用旧偏好与历史查询说明选择依据。
讲清 AGENTS.md 和 CLAUDE.md 的用途、项目与子目录规则如何加载、与自动记忆的区别,以及为什么规则文件不能替代执行权限。
解释 Mem0 如何抽取和检索长期记忆,提供 TypeScript 与 Python 读取示例,并说明身份过滤、异步写入和上下文注入仍需应用处理。
Agent 的语义、情景和程序性记忆分别保存知识、经历与做事方法。本文解释三类记忆的转换条件、使用风险,以及它们与短期和长期记忆的区别。
通过同一个学习助手场景,解释 Agent Memory、RAG 和向量数据库分别负责什么,以及历史记忆怎样被检索并用于新会话。
结合代码排错场景,讲清上下文工程与提示词工程的区别、每轮输入如何组装,以及怎样定位证据没有进入模型的问题。
提供大模型推理显存估算方法,区分权重、KV Cache 和运行开销,用 8B 与 GQA 缓存算例解释精度、上下文和活跃并发,并给出 TS、Python 计算器。
用退款知识库解释 Embedding 训练中的正负样本、对比学习、批内负样本和难负样本,说明误标风险、独立检索评测与重新编码的必要性。
解释推理模型与普通大模型的真实区别,用 Agent 排障任务分析额外推理的收益与边界,说明怎样按完成率、工具错误、延迟和成本选择模型。
对比 Spring AI 与 LangChain4j 的 Java 集成方式、工具调用与 Agent 执行边界,解释为什么工具注解和聊天记忆不能替代鉴权、幂等与任务恢复。
解释 Dify 平台与 LangChain 代码框架的交付范围,通过客服助手比较业务接入、运营变更、测试、部署和长期维护,避免只按写不写代码选型。
对照同一个知识库与审批任务,解释 LangChain 和 LlamaIndex 的数据抽象、检索、工具编排与维护成本,提供可执行的 RAG 和 Agent 框架选型方法。
从退款查询任务解释 Prompt Engineering,讲清 Agent 提示词的目标、输入、工具边界、失败处理与评测方法,避免把角色设定或长提示词当成可靠性保证。
用报表排查逐步解释 Agent 上下文压缩,讲清预算预留、摘要状态、外部证据、工具调用关系与压缩后验证。
用独立的相邻符号合并例子解释 BPE 训练与编码的区别,说明词表、合并优先级、字节级 BPE,以及 Token 为什么不等于字或单词。
区分 Temperature、Top-p、Top-k 对概率分布和候选范围的作用,用四个候选的算例说明差异,并解释采样参数与事实准确性的边界。
用二维向量比较余弦、点积和欧氏距离,解释长度、方向、归一化等价条件与分数方向,并说明向量检索度量的选型方法。
讲清 Embedding 更换时的向量空间不兼容、新旧索引并行构建、增量补齐、查询模型与索引成对切换,以及验证和回滚条件。
解释 RAPTOR 如何通过递归聚类与摘要构建多层检索结构,比较原文检索、摘要检索和两种树查询方式,并说明引用与更新风险。
通过比较任务与依赖任务,区分 RAG 查询分解和 Multi-Query,讲清子问题生成、检索依赖、证据合并与延迟预算。
用可手算的两路检索结果解释 RRF 公式、排名常数和候选窗口,说明为什么不能直接相加 BM25 与向量分数,以及融合排序的能力边界。
说明 GraphRecursionError 限制的图超步是什么,排查循环边、停止条件和状态未更新问题,再给出 TypeScript 与 Python 的限制配置示例。
解释 LangGraph Time Travel 的 Replay 与 Fork,说明历史检查点选择、update_state 的分支含义,以及模型重跑、人工确认和外部副作用的边界。
用一次并行检索讲清 LangGraph Pregel 的计划、执行和更新阶段,解释 Super-step 内状态可见性、Reducer 与超步计数的边界。
解释 MCP Elicitation 的客户端协商、补充信息请求和用户响应,区分 Form/URL 模式,并说明询问、确认与业务授权的边界。
用资料选择界面解释 A2UI 的声明式组件、数据绑定与宿主渲染,说明它与 HTML、AG-UI 的区别以及动作执行的授权边界。
解释 AG-UI 在 Agent 与界面之间的事件协议职责,对比 MCP、A2A,并用工具状态展示说明运行标识、状态同步和权限边界。
解释 CodeAct 如何把代码作为 Agent 动作,用读取测试结果的任务说明动作组合、执行反馈、沙箱约束及与 Tool Calling 的配合。
说明流式 Markdown 的未闭合语法、增量解析与代码高亮问题,给出显示容错、完成态校准和内容安全的处理顺序。
沿前端发送、后端调用、流式返回解释 AI SDK useChat,区分 UIMessage 和 ModelMessage,并说明工具状态、历史持久化与 Python 后端接入边界。
解释大模型消息角色、工具调用结果配对和对话历史组织,用查询场景说明为什么角色标签不能代替身份、事实与权限检查。
用同一个知识库助手说明 MCP Tools、Resources、Prompts 的职责、调用方式与组合关系,解释动态资源、提示词入口和权限边界。
解释 Contextual Retrieval 在切片后补背景并建立索引的过程,比较扩大窗口和父子检索,强调生成背景与原始证据分开核验。
区分 LangGraph 的 messages、updates、values 流模式,提供 TS 与 Python 消费片段,说明 reducer、网页事件协议与恢复状态的边界。
用候选选择与评分例子解释 MMR,说明相关性和多样性如何平衡,以及为什么它不能代替权限过滤、重排与真实检索评测。
从同题多份回答解释 GRPO 的组内相对奖励,比较 PPO 的价值模型,并分析奖励缺乏区分度时的学习信号与工程限制。
比较 Encoder-only、Decoder-only 与 Encoder-Decoder 的读取范围和训练方式,用因果掩码解释预填充并行与逐步生成的区别。
解释推测解码的草稿、并行验证与接受前缀,说明拒绝后的修正机制,以及草稿长度、接受率和验证开销怎样影响收益。
比较 MHA、MQA、GQA 的查询头与键值头关系,解释 GQA 如何减少 KV Cache,以及缓存比例、总显存和吞吐为何不能混为一谈。
从 Q、K 旋转解释 RoPE 位置编码与相对位置关系,说明 Transformer 为什么需要位置,以及长度扩展和缓存坐标的边界。
从含糊指令解释 Agent 意图识别与参数检查,说明何时澄清、怎样绑定候选身份,以及高风险动作为什么仍需权限与确认。
用具体检索例子解释 BM25 的词频饱和、IDF 和文档长度归一化,比较 TF-IDF,并说明关键词检索的适用边界。
Tool Calling 并不是大模型自己去执行某个工具,而是模型和应用之间约定的一套调用方式。应用会先把工具名称、用途和参数结构告诉模型。模型判断需要使用工具时,会返回一份结构化的调用请求,里面通常包含工具名称、参数和调用标识。
LangGraph 通过保存执行状态,让任务能够暂停下来,等收到用户回复以后继续执行。具体来说,需要配置一个负责保存检查点的 checkpointer,并用 thread_id 标识当前线程。
Agent 的核心工作方式,可以理解成一个不断重复的执行循环,也就是 Agent Loop。任务开始以后,模型会读取用户目标和当前的任务状态,然后决定下一步做什么。
Agent 和 Workflow 的本质区别,是执行路径到底有谁来决定。Workflow 的步骤处理主要是有代码预设决定好的。那么即使中间调用了大模型,但是它本质仍然可以是 Workflow 预定好的流程。
Agent 调用工具超时后能否重试?区分查询与写入操作,理解结果未知、退避重试、幂等键和状态核对,避免重复创建工单等副作用,附面试速答。
RAG 知识库有文档却检索不到,如何定位原因?按解析、切片、索引、权限过滤、召回和重排逐步排查,并用标注问题验证修复,附面试速答与追问。
Agent 强化学习的奖励,是训练系统根据任务轨迹和结果计算的反馈,用来影响模型后续的决策行为。它不是运行时给模型发一句“做得不错”。奖励设计首先要明确成功条件。
SWE-bench 是用真实代码仓库和问题来评测软件修复能力的一组基准。系统根据问题生成代码补丁,评测程序再把补丁应用到指定仓库状态,通过测试检查任务是否解决。它评测的不是“代码看起来合理”,也不是任意生成一段函数。
HyDE 是 Hypothetical Document Embeddings,也就是假设文档嵌入。它先让大模型根据问题生成一段假设性的相关文档,再把这段文档转成向量,用来检索真实资料。
多模态 RAG 是把文字、图片等不同形式的资料用于检索增强生成。它不只是把图片做一次 OCR,再全部当成文字处理。实现时,可以给图片建立文字描述,也可以使用能够匹配文字与图像的检索模型;文档页面还可以采用专门的视觉检索方式。
RAG 向量检索如何选择 Milvus、FAISS 与 pgvector?本文对比数据库系统、搜索库和 PostgreSQL 扩展,说明过滤、更新、事务与运维取舍。
Deep Research Agent 需要围绕一个研究目标,拆出待回答的问题,再根据搜索结果继续补充证据,最后形成报告。它不只是一次搜索结果的摘要。设计时,可以把待研究的问题、已取得的资料和最终结论分别保存。
Reflection 是让 Agent 根据已有结果和反馈,回头检查哪里出了问题,再尝试修正的一种做法。例如代码测试失败以后,模型可以读取报错,分析失败原因,再改代码。这比只让它凭感觉说“我检查过了”更容易形成有效修改。
CoT,也就是思维链,主要是让模型通过中间推理步骤来解决问题。它本身不要求连接工具,也不保证能拿到新的外部信息。ReAct 则把推理和行动交替安排。模型根据当前信息决定做什么,应用执行工具,把实际结果交回来,模型再判断下一步。
FlashAttention 是一种优化 Attention 计算的算法与实现方式。它的核心思路是分块计算,尽量利用芯片上较小但更快的存储,减少大矩阵在显存中反复写入和读取。普通实现容易产生完整的注意力分数和概率矩阵。
知识蒸馏是让学生模型学习教师模型提供的信号。教师通常能力更强,学生往往更小,但也可以是不同结构或不同任务定位的模型。传统蒸馏可以让学生学习教师的概率分布;大模型场景里,也常用教师生成的答案或推理示范,经过筛选以后训练学生。
vLLM 是大模型推理服务系统,它的性能来自多项设计,不能只归因于一个算子。PagedAttention 的核心思路,是把 KV Cache 按块管理,再用映射找到请求需要的缓存,减少大块连续预留和碎片带来的浪费。
大模型量化,是用较低精度表示模型中的数值。常见做法是把原来 16 位的权重压到 8 位或者 4 位,减少权重存储和数据搬运的开销。但 INT4 不代表整个模型所有计算都使用 4 位,也不代表总显存一定减少到四分之一。
MoE 是混合专家模型。常见做法是在 Transformer 的部分层里放置多个专家网络,再由路由器根据当前 token 的表示,选择其中少量专家参与计算。
SFT 是监督微调,使用“问题和示范答案”训练模型,让它学习怎样按要求回答。RLHF 是利用人类反馈进行强化学习的一类方法。经典做法先收集多个回答的偏好排序,训练奖励模型,再让语言模型根据奖励调整回答,并限制它不要偏离参考模型太远。
Text2SQL 就是把用户的自然语言问题转换成 SQL,用数据库中的真实数据回答。但实际项目里,不能只把表结构塞给模型。模型还需要知道字段含义、表之间怎么关联,以及销售额这类指标的业务口径。
A2A 是让不同 Agent 服务交换消息、委托任务和交付结果的一套协议。调用方不需要知道远端用了什么模型、框架或者工具,而是通过约定的接口了解它能做什么,并跟踪任务状态。
Agentic RAG 是把检索交给 Agent 按任务需要安排的一种 RAG 方式。常见的两步 RAG,会按照预先规定的流程,先找相关资料,再让模型回答。
GraphRAG 是把图结构用于 RAG 的一种做法。传统的向量检索通常从问题出发,找语义相近的文档片段;GraphRAG 还会利用实体之间的关系,把分散在不同文档里的信息连接起来。不过,GraphRAG 并不只有一种实现。
Redis 和数据库使用 Cache-Aside 时,通常先读缓存,未命中再查数据库并回填;修改数据时,先提交数据库更新,再删除对应缓存。但是,这个顺序不能保证每个并发请求都读到最新值。
MySQL 的 UPDATE 只影响一条记录,不代表它只锁住这一条记录。要结合存储引擎、隔离级别和实际使用的索引来判断。在 InnoDB 的常见可重复读场景中,通过唯一索引定位一条已存在的记录,通常只需要锁住对应索引记录。
Attention 的作用,是让当前位置根据其他位置的信息,得到一个结合上下文的新表示。在 Self-Attention 中,同一组输入分别经过可学习的矩阵变换,得到 Q、K、V。Q 和 K 做点积,计算当前位置与其他位置的匹配分数。
Kafka 消息交给后台异步处理以后,提交位置应该对应已经安全完成的处理进度,不能在任务刚放进内存队列时,就认为消息已经处理成功。同一个分区内,多个任务可能乱序完成。
stdio 和 Streamable HTTP 都是 MCP 的传输方式,区别主要是 Client 和 Server 怎样连接、怎样交换消息。
Computer Use 是让 Agent 通过电脑界面完成任务的一种方式。模型可以读取截图,判断当前页面,并提出点击、输入、滚动等操作;真正操作鼠标和键盘的,仍然是应用中的执行工具。
Python 的 async/await 主要用于协作式并发。多个任务可以交给事件循环调度,一个任务遇到需要等待的异步操作时,可以暂停,让其他任务继续执行。但是,把函数写成 async,并不会自动把里面的同步操作变成异步。
向量检索最直接的做法,是把查询向量和全部文档向量比较,再选出最接近的几个结果。数据量大以后,这样的全量扫描可能比较慢,因此会使用近似最近邻索引。HNSW 把向量组织成分层的邻近图。
Agent 执行变慢,不能直接判断是大模型的问题,需要先把一次任务的耗时拆开。例如,用户提交任务后,可能先在队列里等待。开始执行以后,又会经历模型判断、工具调用和多轮重试。
Agent 的多个工具可以并行调用,但要先看它们之间有没有依赖,以及同时执行会不会发生冲突。例如,拿到运单号和支付流水号以后,查物流和查支付通常可以同时进行。但如果这两个编号还需要通过查订单获得,就必须先查订单,不能让模型自己猜参数。
Agent 故障恢复不能只保存聊天记录。需要持久化任务标识、运行状态、已完成步骤、待处理动作和必要的结果引用,重启后才知道从哪里接着做。恢复时,执行器先取得任务的执行权,再读取最后保存的状态。已确认完成的步骤可以复用结果;
Agent 调用 MCP 工具时,模型负责提出工具和参数,权限要由可信服务检查,不能让模型判断自己有没有权限。对于需要授权的 HTTP MCP 服务,服务器先验证访问令牌是否有效、是否是签发给自己的,以及是否具备本次请求需要的权限。
这三个选择并不是按“简单、中等、复杂”排成一条线。LangChain 提供比较高层的模型、工具和 Agent 组织方式,它的 Agent 底层使用 LangGraph;LangGraph 则让我们更直接地定义状态、节点和执行路径。
构建 RAG 评测集,我会先确定系统服务哪些人、解决哪些问题,再从脱敏后的真实请求、失败案例和业务人员提供的场景中收集样本。缺少的类型,可以用模型辅助生成。
多 Agent 传递上下文,不应该默认复制全部聊天,也不能只发一句简短任务。应该根据子 Agent 的职责,提供目标、必要背景、共同约束、可用资料和输出要求。例如比较两款软件,一个子 Agent 调查功能,另一个调查部署方式。
Agent 的长期记忆,是把跨会话仍然有用的信息保存下来,并在后续任务需要时取用,不是把所有聊天都永久保存。设计时,我会给记忆记录用户、适用范围、来源、更新时间和有效状态。
Agent 使用 Skill,一般可以分为发现、选择和加载。应用先提供名称、描述等简要信息;模型判断当前任务需要哪些 Skill,再读取对应的完整说明和必要材料。
AI 生成代码的验收应以需求和独立测试数据为依据。本文说明 Diff 审查、测试、静态检查与端到端验证,排查无关改动和被降低的验收标准。
Agent Harness 可以理解为围绕模型搭建的一套运行系统。模型负责根据当前信息做判断,Harness 则负责把需要的信息交给模型、执行允许的工具调用,再把结果送回去。
LangChain Middleware 是介入 Agent 执行过程的一组钩子。可以在调用模型前整理输入,也可以包住模型或工具调用,处理重试、路由和提前结束等逻辑。Tool 负责完成具体业务动作,例如搜索资料、查询订单。
LangGraph 子图就是把一个图放进另一个图里,作为其中的一个节点使用。它适合封装可以独立理解和复用的多步流程,例如把搜索、阅读和资料汇总做成一个资料收集子图。父子图怎样传状态,要看它们的接口。
AI 应用灰度发布需要离线评测、会话分流和停止条件。本文说明质量、延迟、成本检查,以及模型、Prompt、工具和检索配置的配套回滚。
Prompt 会影响模型的任务处理、输出格式和工具选择,因此应该像其他程序配置一样管理版本。修改时保留旧内容,形成一个可以准确定位的新版本,再用固定样本和历史错误问题比较效果。测试通过以后,才把生产环境切到新版本,而不是直接覆盖线上文字。
Agent 生成的代码,仍然应该按不可信程序处理。模型可能写错代码,也可能受到用户输入或外部内容影响,所以不能直接让它访问业务服务器的全部资源。沙箱会给代码提供受限制的运行环境。
Agent Skill 通常是一份可复用的任务说明包,里面有适用场景、处理步骤,也可以附带脚本、模板和参考资料。例如,告诉 Agent 写周报时先检查哪些进展,再按什么格式整理。MCP 是 AI 应用连接外部能力的协议。
处理 PDF 表格时,不能只提取文字,还要保留表格的结构。例如“100”这个数字,到底是 100 GB 存储,还是最多 100 个成员,取决于它所在的行和列。解析时需要保存套餐名称、列标题、单位,以及合并单元格、脚注和跨页关系。
RAG 父子检索用子片段定位,再取回父段落补齐上下文。本文说明父子映射、去重、权限、版本与输入长度控制,避免遗漏回答条件。
LoRA 是一种参数高效微调方法。它保留基础模型已有的权重,在选定的层旁边加入少量可训练参数,用这部分参数学习任务需要的调整。具体来说,原来一个很大的权重改变量,会用两个较小矩阵的乘积来表示。
常见的自回归大模型推理,可以分成 Prefill 和 Decode 两个阶段。Prefill 处理输入内容。例如,我们发给模型一份报告,它需要先计算这段输入对应的表示。输入越长,通常需要处理的工作就越多。
LLM-as-a-Judge 就是让大模型充当评审,根据问题、参考材料和评分标准,对答案打分或比较两个答案哪个更好。它适合检查语义上的问题,比如回答是否符合资料、有没有答到用户关心的内容。
AI 聊天停止生成需要后端任务取消机制。本文说明权限检查、取消信号、Worker 清理和最终状态,并区分请求断开、任务取消与业务回滚。
Agent 的工具不是越多越好。工具多了,模型可以处理更多类型的任务,但如果把大量相似的工具定义一次性放进去,也会增加输入长度,让选择变得更容易混淆。
多轮 RAG 不能只拿用户最后一句话去检索,因为“企业版呢”“这个怎么开通”这样的追问,单独看并不完整。一种常见做法是,先结合相关聊天记录,把当前问题补成能够独立理解的检索问题。
Few-shot Prompting 就是在提示词里放入少量“输入和正确输出”的例子,再让大模型处理新的输入。例如,给客服工单分类时,光说“分成故障、使用咨询和功能建议”,模型未必清楚我们的具体标准。
RAG 会在用户提问以后,先检索相关资料,再把资料和问题一起交给大模型。这种做法适合公司制度、产品文档这些需要经常更新、回答时还要说明出处的内容。微调则是在已有模型上继续训练,调整可训练的参数,改善特定任务上的表现。
排行榜可以先看,它能帮我们找几个值得试的模型。但最后选谁,得回到自己的项目里判断。比如做 AI 编程助手,模型回答“Bug 已修复”不算完成任务。我们要看它交出的补丁能不能解决原问题,改完以后有没有影响别的功能。
LangGraph 的 Send 适合动态扇出:图运行到某一步,才知道有几项工作要并行处理。比如解析报告得到 12 个章节,路由函数就针对 12 个章节分别返回一个 Send,指定同一个摘要节点,但给每次调用不同的章节内容和编号。
LangGraph 的 Checkpointer 保存图在某个 thread 上的状态快照,适合对话续接、暂停后恢复、查看执行历史。使用时需要稳定的 thread_id;换了 thread_id,就不是继续原任务。
Runnable 是 LangChain 里可调用、可组合的一类抽象,通常能以统一方式执行、批处理或流式处理。把若干 Runnable 按确定顺序组合起来,就形成一条固定处理链;
把 Agent 从 Demo 推到生产,我会设四类门槛。第一,目标和安全边界:什么算完成,哪些动作必须禁止或人工确认。第二,执行可靠性:工具超时、重复请求、状态恢复和幂等怎么处理。
我会把 AI 编程助手设计成一个受控闭环:先读取错误信息和仓库结构,定位相关文件;再让模型提出小范围补丁;在隔离工作区运行目标测试与必要的回归测试;最后交付补丁、测试结果和风险说明,等待人工或可信流程确认。工具不是越多越好。
多租户 AI 应用要把租户范围作为服务端确认的安全上下文,贯穿聊天会话、上传文件、解析片段、向量检索、工具调用、答案缓存和引用下载。不能相信客户端传来的 tenant_id,更不能只靠提示词告诉模型“不要泄露别家数据”。
遇到模型接口限流,我会先在入口控制并发、请求量和 Token 预算,避免把所有流量都推给供应商。可以延迟的批处理进入有上限的队列;交互请求则设置短等待预算,超出就明确降级或失败。
Prompt Cache 和答案缓存不是一回事。Prompt Cache 让模型服务复用相同前缀的计算,例如稳定的系统说明和工具定义;本次请求仍会生成新回答。答案缓存则是应用发现“这次可以复用旧结果”,直接把上次答案返回。
模型路由就是根据任务难度、风险、时延要求等,把请求交给不同模型处理。比如格式固定的意图分类可先试轻模型;跨多个条款推理、需要复杂工具规划的请求,交给更强模型。做法不是凭感觉写一堆关键词规则。
Agent 任务评测不能只看最后回答。要先为任务定义可验证的完成条件:例如代码修复要求补丁存在且指定测试通过;创建工单要求系统里有且只有一张符合要求的工单;资料调研要求结论能回溯到证据。
Agent 做计划,是为了把复杂任务拆成可验证的阶段,避免拿到一个工具结果就漫无目的地调用下一个工具。计划里应有当前假设、下一步要取的证据和完成条件。但计划不能锁死执行路径。
这是间接提示词注入。攻击者把指令藏在网页、邮件或检索结果里,等 Agent 读取时,试图让模型把这段外部内容当成更高优先级的命令。防护的核心是划清信任边界。外部内容只作为待处理数据进入上下文,不能获得用户或系统的授权。
我会把 RAG 的评测分成三层。第一层看检索:标准证据有没有进入候选和最终上下文;第二层看证据使用:模型说出的关键结论能不能从提供的材料里找到依据;第三层看业务答案:它是否回答了问题,条件、数值和结论是否正确。
RAG 的文档通常会被解析、切片、生成向量,再写入检索索引。修改源文件只完成了第一步,旧片段可能还留在索引、搜索副本或缓存里,所以用户仍会搜到旧答案。我会给文档和片段带上稳定 ID、版本和有效状态。
Rerank 就是对已经检索出来的一批候选,结合用户当前问题重新排序。召回阶段要尽量把可能有用的材料找进来;重排阶段再从这些材料中挑出更值得放进模型上下文的几条。
RAG 用混合检索,主要是因为关键词和向量检索擅长的题不一样。像 E_CONN_RESET 这样的错误码、订单号或条款编号,关键词匹配通常更直接;用户把原文换一种说法来问时,向量检索又更容易找到语义相近的片段。
Embedding 是把文本等内容表示成一组数字,也就是向量。两段内容在某个向量空间里距离近,通常表示它们在这个模型看来有一定相关性,因此适合拿来做语义检索。但我不会把相似度分数直接当成“答案正确率”。
Token 可以理解为模型处理文本时使用的片段单位,但它和汉字、单词都不是一一对应的。同一段内容换了语言、标点或者模型的分词方式,Token 数量就可能变。所以我不会拿“中文有多少字”直接当上下文预算。
合法 JSON 不能直接入库。它只说明语法上能解析;即使用 JSON Schema 约束了字段和类型,也只能说明结构符合预期,不能证明金额、订单归属和业务条件正确。我会把链路分几关:先检查模型调用是否完成、有没有拒答或截断;再做结构校验;
我不会默认把任务拆成多个 Agent。先用单 Agent 加明确工具,看看它是否已经能稳定完成任务。如果主要问题只是步骤多,未必需要多 Agent;真正值得拆分的,往往是专业上下文、工具权限或对话责任需要分开。
RAG 切片不是越小越好。小块通常更聚焦,检索时容易定位到某句话,但可能把主规则、前提和例外拆开;大块能保留更多上下文,却可能混入无关内容,增加重排和模型输入的负担。
LangSmith Trace 记录一次请求的执行轨迹,Evaluation 按样本与标准评估版本表现。本文说明坏例定位、测试集构建、脱敏与回归评测。
在 LangGraph 里,State 是任务当前的共享快照,Node 是处理一项工作的函数,Edge 决定下一步执行哪个节点。比如报表助手可以先有“用户要看哪段时间”的状态,随后两个节点分别查销售与退款,最后由汇总节点生成结论。
我会把智能客服按任务分层。政策解释类问题用 RAG 找当前适用的条款,并给出来源;涉及“我的订单”就先确认用户身份,再调用订单工具读实时数据;
企业知识库问答,我会拆成两条链路。离线链路负责文件解析、切片、元数据和索引,尤其保留来源、版本、生效时间、所属空间与权限标识;在线链路负责身份验证、权限过滤、检索、上下文组装、生成和引用。文档更新不能直接把半成品暴露给用户。
AI 文件解析与建索引应拆成后台异步任务。本文说明文件版本、任务状态、OCR、Embedding、幂等重试和索引切换,区分上传成功与可检索状态。
上下文窗口变大,解决的是一次能输入多少内容;它不能保证模型对长文档里每个位置、每个例外条件都同样敏感。像合同违约金,正文里可能有一条通用规则,后面又有特殊客户或特定日期的例外。模型读进去了整份合同,仍可能只拿前面的通用规则作答。
大模型的幻觉,简单说就是它给出了看似合理、却没有事实依据或者与已有证据冲突的内容。比如知识库根本没有今年的报销标准,它却报出一个具体金额。把 Temperature 调到 0,通常会让采样结果更集中、更稳定,但不会帮模型核实事实。
RAG 检索到正确文档,只能说明检索结果里出现过它,不能保证大模型拿到了完整的证据,更不能保证它按照证据答对。我会先拿一条答错的请求,对照检索结果、最终送进模型的上下文和模型输出。
MCP 和 Tool Calling 并不是二选一。Tool Calling 是模型提出工具调用的方式:应用告诉模型有哪些工具,模型返回想调用的工具和参数,真正执行仍然由应用处理。MCP 则是 AI 应用连接外部能力的一套协议。
Agent 的 Context 是本轮模型输入,State 保存任务进度,Memory 负责信息保留与取用。本文比较三者边界,并说明跨轮约束与持久化的关系。
AI 聊天流式输出如何选择 SSE 与 WebSocket?本文区分单向推送和双向通信,并说明任务持久化、断点恢复、事件去重与请求幂等。