从 10 小时缩短至 3 小时:KAIST 的 CluSTER 如何挑出真正能带来学习效果的 31% 数据

📌 One-Sentence Summary
KAIST 的 CluSTER 根据学习效果而非主题筛选训练数据,通过评分、聚类、均衡采样和 GPU 分配,仅使用 31% 的数据,最多可将微调时间缩短 69.6%。
📝 Summary
本文介绍了 KAIST 在 EMNLP 2026 上提出的 CluSTER,即基于聚类的均衡采样与分配方法。该方法仅使用数据集中的 31% 进行训练,就能在保持几乎相同性能的同时,最多节省 69.6% 的微调时间。它包含四个步骤:根据样本的学习效果评分,按相似影响进行聚类,在各簇间均衡采样,并将数据均匀分配到各个 GPU,以避免重复计算。该方法主要面向存在冗余数据的微调场景,尤其适用于代码和医疗任务中的 7B-13B 参数模型。文章还强调,计算净节省时必须将数据筛选成本考虑在内。
💡 Main Points
CluSTER 仅使用 31% 的数据进行训练,最多可将微调时间缩短 69.6%,同时保持模型性能
该方法通过四步流程,根据学习效果而非表面上的主题相似性筛选数据,在覆盖多样技能的同时,去除会浪费 GPU 计算周期的冗余样本。
四步流程依次根据学习效果为样本评分、按相似影响聚类、在各簇间均衡采样,并将数据均匀分配到各个 GPU
这种系统化的方法可避免随机筛选或按主题筛选数据的常见问题,确保每个 GPU 获取的批次都足够多样,避免芯片通过冗余样本反复学习相同内容,浪费时间。
应按学习效果而非主题分组,因为基于文本相似性的去重会漏掉有实际影响的冗余
两个样本即使措辞、领域乃至语言都不同,也可能教会模型相同的技能;传统文本相似度方法无法识别这类会直接影响学习效率的冗余。
净节省取决于筛选成本和数据集特征;69.6% 是最高值,并非保证达到的提升
如果训练轮次较少、数据已经过筛选,或评分流程成本高昂,筛选带来的收益可能会被抵消。31% 的数据比例是 KAIST 医疗问答实验中的特定结果,并非普遍适用的固定值。
💬 Key Quotes
CluSTER——基于聚类的均衡采样与分配及数据并行高性能微调方法——于 2026 年 10 月在 EMNLP 2026 上发布
核心洞见说出来后简单得令人意外:微调时间大多耗在冗余样本上
按学习效果分组,而非按主题分组。措辞不同的两个样本可能教会模型相同的技能;基于文本相似性的去重会完全漏掉这类冗余
净节省时间 = 节省的时间 − 筛选成本
由此推算的加速比为 3.29× —— 1 / (1 − 0.696)
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: Daniel Sam Pete Thiyagu
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1463
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 性能优化 , 机器学习
思路清晰,干货满满。
实测过类似工具,作者说的基本属实。
路过
实话,说的不明不白
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
这个比较实用,已转发给同事。
楼主辛苦了,内容很有参考价值。
点赞,必须点赞
写得挺用心的,支持一下。
看标题就点进来了,内容果然没让人失望。
实话,说的不明不白