DSPy 优化器性能速览：四个基准数据集与结果图表

DSPy 是斯坦福提出的提示词编程框架：你用代码声明程序的输入输出签名，框架自动优化指令与少样本示例，替代手工调提示词。这篇论文研究的是如何为多阶段语言模型程序同时优化指令与示范。

由于 DSPy 最新论文篇幅相对较长，我索性整理了一份概览：各数据集的描述，以及对应的优化器性能图表。

Heart Disease（心脏病）：「该数据集展示 30 多岁到 60 多岁的年龄分布，男性受试者占比更高。胸痛类型包括无症状、非心绞痛性疼痛、非典型心绞痛与典型心绞痛。血压与胆固醇水平各异，但多数值处于典型范围。运动诱发心绞痛并不常见，运动诱发的 ST 段压低总体较轻。该数据集似乎用于建模预测心脏病存在与否的二分类结果。2. 性别：数据集中男性受试者多于女性。3. 胸痛类型（cp）：最常见的是无症状，其次是非心绞痛性疼痛、非典型心绞」

HotpotQA：「该数据集包含来自音乐、电影、历史、文学等广泛主题的百科竞猜式问题。问题结构良好，要求以具体信息作答，显示出对知识测试的聚焦。数据集格式一致、强调准确性，适合用于开发竞猜问答应用或知识测试平台。」

HotpotQA Conditional（条件版）：「该数据集中的许多问题简洁扼要，表明问题结构良好、旨在引出具体信息。数据覆盖广泛主题，包括体育、音乐、历史、职业与知名人物。每个问题附带的类别组织良好，有助于识别所请求信息的具体类型。对事实信息（而非观点或解读）的强调也很显著，说明该数据集面向客观、可核验的知识评估。此外，年份与时长等时间要素的纳入、对杰出人物与事件的聚焦，表明该数据集旨在测试对具体事件、人物与时代的认知。」

ScoNe：「该数据集由涉及否定与双重否定的逻辑推理任务组成，挑战受试者基于给定情境与问题做出演绎。重点在于测试在关注细节的同时准确进行逻辑推断的能力，多样的类别表明推理挑战的多样性。总体而言，该数据集旨在通过强调否定对得出确定性演绎的影响，评估模型在逻辑推理任务上的表现。」

来源论文：《Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs》（优化多阶段语言模型程序的指令与示范）

作者：tom_doerr（@tom_doerr）

年份：2024。arXiv 编号：2406.11695，分类：cs.CL（计算与语言）。

为什么值得看

这批图表的实用价值在于横向比较：同一数据集上，不同的 DSPy 优化器（如指令优化与示例优化的不同组合）带来的性能差异一目了然。对实际用大模型做问答、分类、推理类任务的开发者，这提供了选择优化策略的参考依据——任务类型不同，最优优化器组合也不同。配合 DSPy 框架使用，可以把「调提示词」变成「调优化器参数」，显著减少反复试错的时间成本。

原文信息

作者：tom_doerr（@tom_doerr）

原文地址：