教小模型读懂招聘信息：我们的竞技场以及 JOA Small、Advance 和 Deep 微调版本

📌 One-Sentence Summary

这项研究表明，在特定的招聘信息提取任务上对小型开源权重模型（3B-8B）进行微调，其准确性和效率均显著优于大型通用模型，仅用极少的 token 数量即可实现最高分。

📝 Summary

文章介绍了 Job Opportunities API (JOA) 竞技场的评估结果，其中 68 个开源权重模型被测试从真实招聘列表中结构化数据的能力。虽然像 Qwen3.5-27B 这样的大型推理模型表现良好，但计算成本高昂。作者使用由较大模型生成的数据训练的 LoRA 适配器，对三个较小的基础模型（Granite 4.2-3b、Granite 3.3-8b-instruct 和 Qwen3.8-27B）进行了微调。结果显示，最小的微调模型（JOA Small）获得了最高分（93.3），超过了其教师模型（89.2），同时每个答案仅消耗约 110 个 token，而训练模型则需要约 2，900 个 token。这凸显了对于狭窄任务而言，专业化微调可以使小模型比大型通才更有效且高效，尽管在实时页面访问和已关闭职位检测方面仍存在局限性。

💡 Main Points

专业化微调使小模型能够超越更大的通用模型

基于 3B 参数 Granite 模型的微调版 JOA Small 取得了 93.3 的分数，在包括许多更大模型在内的 84 个模型中排名第一。它超越了自身的教师模型（Qwen3.5-27B，得分 89.2），证明在此类提取任务中，针对特定任务的训练比单纯的模型规模更具影响力。

推理成本和延迟显著降低

微调模型回答查询大约需要 110-120 个 token，而教师模型需要约 2，900 个 token，其中大部分用于推理。这使得小型微调模型能够在消费级硬件上运行，并高效处理大量数据。

具有统计验证的严格基准测试方法

「竞技场」使用了 250 个真实的招聘列表，参考标签由 Claude Opus 智能体构建，并由两个独立的评判模型（Kimi-Linear-48B 和 Seed-OSS-36B）进行评分。分数包含通过配对自助法计算的 95% 置信区间，确保性能差异具有统计显著性而非噪声。

尽管准确率高，局限性依然存在

模型依赖存储文本而非实时页面，导致出现缺失标题或无法检测已关闭职位的问题。此外，评估本身依赖于 AI 评判者和参考数据，引入了潜在的偏差，尽管通过交叉检查得到了一定缓解。

💬 Key Quotes

一旦学会了任务，在这个测试中规模就不再重要了。

学生超越了老师。

它们回答大约需要 110--120 个 token。训练模型需要约 2，900 个，几乎全部用于推理。

解决方案是更好的输入，而不是更大的模型。

📊 Article Meta

AI Screening： 86

Source： DEV Community: machinelearning

Author： Loukas Tzekos

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 950

Tags：

效率与成长 , 模型训练与推理 , 阿里通义 , 大语言模型 , AI 评估与基准