从 10 小时缩短至 3 小时:KAIST 的 CluSTER 如何挑出真正能带来学习效果的 31% 数据

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-04375 阅读💛 172 收藏
从 10 小时缩短至 3 小时:KAIST 的 CluSTER 如何挑出真正能带来学习效果的 31% 数据

📌 One-Sentence Summary

KAIST 的 CluSTER 根据学习效果而非主题筛选训练数据,通过评分、聚类、均衡采样和 GPU 分配,仅使用 31% 的数据,最多可将微调时间缩短 69.6%。

📝 Summary

本文介绍了 KAIST 在 EMNLP 2026 上提出的 CluSTER,即基于聚类的均衡采样与分配方法。该方法仅使用数据集中的 31% 进行训练,就能在保持几乎相同性能的同时,最多节省 69.6% 的微调时间。它包含四个步骤:根据样本的学习效果评分,按相似影响进行聚类,在各簇间均衡采样,并将数据均匀分配到各个 GPU,以避免重复计算。该方法主要面向存在冗余数据的微调场景,尤其适用于代码和医疗任务中的 7B-13B 参数模型。文章还强调,计算净节省时必须将数据筛选成本考虑在内。

💡 Main Points

CluSTER 仅使用 31% 的数据进行训练,最多可将微调时间缩短 69.6%,同时保持模型性能

该方法通过四步流程,根据学习效果而非表面上的主题相似性筛选数据,在覆盖多样技能的同时,去除会浪费 GPU 计算周期的冗余样本。

四步流程依次根据学习效果为样本评分、按相似影响聚类、在各簇间均衡采样,并将数据均匀分配到各个 GPU

这种系统化的方法可避免随机筛选或按主题筛选数据的常见问题,确保每个 GPU 获取的批次都足够多样,避免芯片通过冗余样本反复学习相同内容,浪费时间。

应按学习效果而非主题分组,因为基于文本相似性的去重会漏掉有实际影响的冗余

两个样本即使措辞、领域乃至语言都不同,也可能教会模型相同的技能;传统文本相似度方法无法识别这类会直接影响学习效率的冗余。

净节省取决于筛选成本和数据集特征;69.6% 是最高值,并非保证达到的提升

如果训练轮次较少、数据已经过筛选,或评分流程成本高昂,筛选带来的收益可能会被抵消。31% 的数据比例是 KAIST 医疗问答实验中的特定结果,并非普遍适用的固定值。

💬 Key Quotes

CluSTER——基于聚类的均衡采样与分配及数据并行高性能微调方法——于 2026 年 10 月在 EMNLP 2026 上发布

核心洞见说出来后简单得令人意外:微调时间大多耗在冗余样本上

按学习效果分组,而非按主题分组。措辞不同的两个样本可能教会模型相同的技能;基于文本相似性的去重会完全漏掉这类冗余

净节省时间 = 节省的时间 − 筛选成本

由此推算的加速比为 3.29× —— 1 / (1 − 0.696)

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Daniel Sam Pete Thiyagu

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1463

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 性能优化 , 机器学习

#AI 与智能应用# 模型训练与推理# AI 工程# 性能优化# 机器学习

文章评论(12)

石佳琪12 天前

思路清晰,干货满满。

回复
林拾贝12 天前

实测过类似工具,作者说的基本属实。

回复
暮拾贝12 天前

路过

回复
蓝光12 天前

实话,说的不明不白

回复
月沐雨12 天前

看完了,收获满满,期待更多更新。

回复
郭超12 天前

这个比较实用,已转发给同事。

回复
雪影12 天前

这个比较实用,已转发给同事。

回复
风倚栏12 天前

楼主辛苦了,内容很有参考价值。

回复
青柠微凉12 天前

点赞,必须点赞

回复
星知秋12 天前

写得挺用心的,支持一下。

回复
蓝归舟12 天前

看标题就点进来了,内容果然没让人失望。

回复
月沐雨12 天前

实话,说的不明不白

回复