Sunday面试指南

DSPy 是什么?它如何自动优化提示词,与手工写 Prompt 有什么区别?

下面是模拟面试对话,用来讲解本题,不是真实面经。

🧑‍💻 面试官:DSPy 是不是自动帮我们写 Prompt?

🙋‍♂️ 我:它可以根据样本和评测指标调整提示词,减少手工反复尝试。

🧑‍💻 面试官:如果指标只检查输出格式,模型把所有消息都判成退款,会发生什么?

🙋‍♂️ 我:格式分可能很好,但任务做错了。

🧑‍💻 面试官:那么你要交给优化器的,究竟是一个愿望,还是能判断结果的数据和规则?

DSPy 能搜索更合适的程序参数,但‘什么结果算好’,仍需要开发者用样本和指标说明。

面试速答(60 秒版)

DSPy 把模型任务写成有输入输出约定的程序,再用样本和评测指标优化其中可调整的部分。

例如做客服分类,咱们先规定输入是消息,输出是分类,再提供带正确分类的样本。优化器尝试不同指令或少样本示例,运行程序并比较分数,最终保留更合适的配置。

因此,DSPy 不只是把一句 Prompt 润色得更漂亮。它需要任务程序、数据和评价方法共同配合。不同优化器调整的内容也不同,有的优化提示,有的涉及微调。最后还要用未参与优化的数据验证,避免只在训练样本上变好。

程序、样本、指标一起优化

知识点详解:怎样把手工改 Prompt,变成有依据的搜索

先把任务输入和输出说清楚

假设咱们要识别客服消息属于退款、发货还是其他。

只写‘请准确分类’,没有告诉程序分类结果应该保存在哪里,也没有说明怎样核对。DSPy 的 Signature 用来表达模型任务的输入与输出要求;Module 则把模型调用或若干步骤组织起来。

可以先用普通话理解它们。Signature 是这一步收什么、交什么;Module 是这一步怎样运行。它们没有保证业务判断一定正确。

优化器需要知道什么叫做错

咱们准备一些消息和正确分类。比如‘包裹三天没有更新物流’属于发货问题,‘东西已经退回,什么时候到账’属于退款问题。

指标可以检查分类是否正确,也可以检查输出是否属于允许的分类。两项关注点不同,格式合法不代表标签正确。

若样本中混入不确定标签,或者多数消息都属于一类,优化器可能学到一个看似高分却没有帮助的配置。开始优化以前,先检查数据和指标,比换一个听起来更先进的优化器更有价值。

格式正确,分类仍可能错

一次优化,会尝试什么

提示词优化器可以生成或选择指令和示例,再用这些候选运行任务,比较指标表现。有的优化器偏向示例选择,有的同时搜索指令与示例。

这里的‘优化’不能直接理解成给整个程序做普通反向传播。提示词、样本选择和模型权重,是不同的调整对象。使用 BootstrapFinetune 等路径时还要另外满足模型和训练条件。

因此,介绍 DSPy 时最好明确自己在谈哪类优化。没有指定优化器和数据,就说‘它会自己训练出最优 Prompt’,会让人误以为结果有保证。

每次尝试,都要用同一规则比较

留一份数据,最后才打开

假设优化器已经在一批客服消息上选好了配置。下一步应使用没有参与搜索的消息检查结果。

训练和开发数据可以用来改程序、选候选,最终测试数据则要留到定稿。相近的同一对话也应放在同一侧,避免把改写后的消息当作新样本。

除了分类分数,再看少见类别、无关输入、延迟和调用成本。优化器可能为了分数增加示例,提示变长以后,收益是否值得也要计算。

依据:DSPy Optimizers。

别把测试答案拿去调提示

面试官继续追问

没有标注数据,就不能用 DSPy 吗?

可以根据任务设计其他可评价信号,但要说明信号是否真的反映目标。用模型评分时也要验证评分偏差,不能把没有标签变成不用核对。

分数变高,就说明可以上线吗?

还要用独立测试与实际输入检查,并考虑成本、权限和发布流程。优化阶段的分数只支持它在相应评测条件下改善。

DSPy 能代替检索或工具设计吗?

可以优化使用这些模块的程序,但工具接口、检索数据和授权仍需要设计。基础能力缺失时,提示搜索不能凭空补上。

面试速记卡

  • Signature:规定当前任务的输入与输出。
  • Module:组织模型调用与程序步骤。
  • Optimizer:按指标搜索可调整配置。
  • 指标先对准业务目标,再谈优化。
  • 独立测试集与成本检查不能省略。

公司面试真题

这道题暂未收录可核验的公司真题来源。你可以先阅读本文解析,或浏览已收录的公司面试真题。

浏览公司面试真题 →
简历汪永久免费在线制作简历,模板直接套用、导出无水印,永久免费、下载免费,不需要付费解锁任何功能。去写简历