我们用四种方式对提取流水线做了基准测试,结果显而易见的调优项都在骗人

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-141089 阅读💛 258 收藏
我们用四种方式对提取流水线做了基准测试,结果显而易见的调优项都在骗人

📌 One-Sentence Summary

洛杉矶一家小型实验室对引文提取流水线的四种配置进行了基准测试,结果发现,服务器升级、分块大小、输出预算和模型选择等看似显而易见的优化项,实际效果往往出人意料,必须经过仔细测量才能判断。

📝 Summary

这份实验记录记录了一个真实的生产任务:在私有语料库上对逐字引文提取流水线进行基准测试。作者测试了四个关键配置变量:(1)服务器升级在配额为 20 时提高了完整率,但在配额为 40 时反而降低了完整率;(2)分块大小的测试显示,尽管 192K 字符的分块速度更快,48K 字符的分块覆盖率却更高;(3)输出预算的影响:将 token 数从 4.8k 提高到 16k,大幅减少了解析失败;(4)比较本地模型 Qwen3.5-9B 与托管模型 Qwen4-Max-Preview/ERNIE。主要发现包括:分块大小是影响最大的单一因素(-18.3 个百分点);在配额固定时,较大的分块会显著降低覆盖率;推理模型进行结构化提取时需要约 3.3x 的输出 token;本地模型可以经济高效地处理大批量任务。作者还驳斥了关于模型改进的四种营销说法,并强调配置效果必须通过测量来验证,而不能想当然。

💡 Main Points

服务器版本的优劣取决于配置,并非总是越新越好

在配额为 40 时,Build b11669 的表现优于 v1.0.0(+7.6 个百分点);但在配额为 20 时,表现却低于 v1.0.0(-11.8 个百分点)。这表明,版本升级必须针对具体的工作负载进行基准测试,不能想当然地认为升级一定会带来改进。

配额固定时,较大的分块会降低提取覆盖率

48K 字符分块的完整率为 0.4288,而 192K 字符分块则降至 0.2460;其中一个单元因超出 token 限制而未返回任何引文。这证明按字符数分块并不能确保不超出 token 限制,而且更大的分块会减少有效样本量。

输出预算是推理模型的一项关键质量参数

ERNIE 5.5 Flash 的解析失败率从 4,800 tokens 时的 71.4% 降至 16,000 tokens 时的 21.4%,因为隐藏推理消耗了约 86% 的输出预算。要可靠地进行结构化提取,需要约 3.3x 的 token。

本地模型可经济高效地处理大批量任务,并由托管模型提供后备支持

Block 1 中的本地 Qwen3.5-9B 处理了 1,187 个分块,产出 15,841 条被接受的引文,API 成本为零;其中 8.1% 的响应需要通过托管模型重新运行来补救。这为生产流水线提供了一种实用的混合架构。

💬 Key Quotes

我们测得影响最大的单一因素是分块大小(在上下文和配额固定时,从 48K 增至 192K 会下降 −18.3 个百分点)。

更换版本带来了 +11.8 个百分点的变化;调整配额带来了 +3.9 个百分点的变化。要测量的是具体配置,而不是标签。

对于推理模型,输出预算是一项质量参数:将其提高约 3.3x 后,有一个模型的解析失败率从 71.4% 降至 21.4%(这是该模型自身的指标,不代表跨指标排名)。

逐项核查广告宣传说法:「全新大版本:更快、更好。」在我们使用的两种配额下,v1.0.0 都更慢(分别慢 +1.5% 和 +16.9%);而它的质量排名会随着提示词参数而反转。这项任务的结果并未证实该说法。

上面的每张表都包含了这样一个实验组:它让我们自己的生产方案在某些指标上显得更差——因为它确实更差。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Paragon666

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1781

Tags:

AI 与智能应用 , 机器学习 , AI 工程 , 模型训练与推理 , 测试与质量

#AI 与智能应用# 机器学习# AI 工程# 模型训练与推理# 测试与质量

文章评论(12)

杨丽华1 天前

收藏了,以后慢慢研究。

回复
蓝临风1 天前

实测过类似工具,作者说的基本属实。

回复
蓝归舟1 天前

思路清晰,干货满满。

回复
石佳琪1 天前

这个观点很中肯,深有同感。

回复
陈皮话梅糖1 天前

作者写得真不错,学到了不少。

回复
星知秋1 天前

这个比较实用,已转发给同事。

回复
一叶知秋1 天前

实话,说的不明不白

回复
雪知秋1 天前

有没有更详细的教程,期待后续。

回复
云逐月1 天前

支持作者,持续关注中。

回复
陈皮话梅糖1 天前

看标题就点进来了,内容果然没让人失望。

回复
林拾贝1 天前

讲解得很细致,新手也能看懂。

回复
墨沐雨1 天前

支持作者,持续关注中。

回复