我们用四种方式对提取流水线做了基准测试,结果显而易见的调优项都在骗人

📌 One-Sentence Summary
洛杉矶一家小型实验室对引文提取流水线的四种配置进行了基准测试,结果发现,服务器升级、分块大小、输出预算和模型选择等看似显而易见的优化项,实际效果往往出人意料,必须经过仔细测量才能判断。
📝 Summary
这份实验记录记录了一个真实的生产任务:在私有语料库上对逐字引文提取流水线进行基准测试。作者测试了四个关键配置变量:(1)服务器升级在配额为 20 时提高了完整率,但在配额为 40 时反而降低了完整率;(2)分块大小的测试显示,尽管 192K 字符的分块速度更快,48K 字符的分块覆盖率却更高;(3)输出预算的影响:将 token 数从 4.8k 提高到 16k,大幅减少了解析失败;(4)比较本地模型 Qwen3.5-9B 与托管模型 Qwen4-Max-Preview/ERNIE。主要发现包括:分块大小是影响最大的单一因素(-18.3 个百分点);在配额固定时,较大的分块会显著降低覆盖率;推理模型进行结构化提取时需要约 3.3x 的输出 token;本地模型可以经济高效地处理大批量任务。作者还驳斥了关于模型改进的四种营销说法,并强调配置效果必须通过测量来验证,而不能想当然。
💡 Main Points
服务器版本的优劣取决于配置,并非总是越新越好
在配额为 40 时,Build b11669 的表现优于 v1.0.0(+7.6 个百分点);但在配额为 20 时,表现却低于 v1.0.0(-11.8 个百分点)。这表明,版本升级必须针对具体的工作负载进行基准测试,不能想当然地认为升级一定会带来改进。
配额固定时,较大的分块会降低提取覆盖率
48K 字符分块的完整率为 0.4288,而 192K 字符分块则降至 0.2460;其中一个单元因超出 token 限制而未返回任何引文。这证明按字符数分块并不能确保不超出 token 限制,而且更大的分块会减少有效样本量。
输出预算是推理模型的一项关键质量参数
ERNIE 5.5 Flash 的解析失败率从 4,800 tokens 时的 71.4% 降至 16,000 tokens 时的 21.4%,因为隐藏推理消耗了约 86% 的输出预算。要可靠地进行结构化提取,需要约 3.3x 的 token。
本地模型可经济高效地处理大批量任务,并由托管模型提供后备支持
Block 1 中的本地 Qwen3.5-9B 处理了 1,187 个分块,产出 15,841 条被接受的引文,API 成本为零;其中 8.1% 的响应需要通过托管模型重新运行来补救。这为生产流水线提供了一种实用的混合架构。
💬 Key Quotes
我们测得影响最大的单一因素是分块大小(在上下文和配额固定时,从 48K 增至 192K 会下降 −18.3 个百分点)。
更换版本带来了 +11.8 个百分点的变化;调整配额带来了 +3.9 个百分点的变化。要测量的是具体配置,而不是标签。
对于推理模型,输出预算是一项质量参数:将其提高约 3.3x 后,有一个模型的解析失败率从 71.4% 降至 21.4%(这是该模型自身的指标,不代表跨指标排名)。
逐项核查广告宣传说法:「全新大版本:更快、更好。」在我们使用的两种配额下,v1.0.0 都更慢(分别慢 +1.5% 和 +16.9%);而它的质量排名会随着提示词参数而反转。这项任务的结果并未证实该说法。
上面的每张表都包含了这样一个实验组:它让我们自己的生产方案在某些指标上显得更差——因为它确实更差。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: Paragon666
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1781
Tags:
AI 与智能应用 , 机器学习 , AI 工程 , 模型训练与推理 , 测试与质量
收藏了,以后慢慢研究。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
这个观点很中肯,深有同感。
作者写得真不错,学到了不少。
这个比较实用,已转发给同事。
实话,说的不明不白
有没有更详细的教程,期待后续。
支持作者,持续关注中。
看标题就点进来了,内容果然没让人失望。
讲解得很细致,新手也能看懂。
支持作者,持续关注中。