nanochat:约 2 小时训练出 GPT-2 水平的 ChatGPT

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-11-06850 阅读💛 207 收藏
nanochat:约 2 小时训练出 GPT-2 水平的 ChatGPT

📌 One-Sentence Summary

nanochat 是 Andrej Karpathy 开源的框架,可在单个 GPU 节点上从零开始训练出 GPT-2 水平的 ChatGPT 风格模型,耗时约 2 小时;与 2019 年的训练成本相比,费用降低了 1,000 倍。

📝 Summary

nanochat 是一个基于 PyTorch 的精简框架,可在单个 GPU 节点上端到端训练大语言模型,涵盖分词器训练、预训练、监督微调、评估和推理。该项目的主要成果是一次「达到 GPT-2 水平所需时间」竞速:在一台 8XH100 节点上,仅用 1.65 小时就训练出 CORE 得分超过 GPT-2(0.256525)的模型,成本约为 $40,比 2019 年训练原版 GPT-2 的 $43,000 便宜约 1,000 倍。该框架使用单一复杂度调节参数(--depth),自动推导模型宽度、注意力头数、学习率和训练参数。训练约需 4e19 FLOPs,并采用 FP8 精度;目前的纪录是 5 次运行的 CORE 平均得分达到 0.262634。代码库强调简洁、配置精简,可在 CUDA、CPU 和 Apple Silicon 上运行,不过较弱硬件的效果较差,只适合用于学习训练流程。

💡 Main Points

从分词器到聊天模型的端到端训练框架

nanochat 提供一套完整统一的代码库,涵盖各个阶段:训练 BPE 分词器、使用 FP8 进行预训练、针对对话进行监督微调、使用 CORE 指标评估,以及通过 KV cache 推理。用户无需复杂配置,就能构建出可用的聊天机器人。

通过单一复杂度调节参数(--depth)自动配置计算最优的模型

--depth 标志控制 Transformer 层数,其他参数(宽度、注意力头数、学习率、训练周期)都会自动推导,以确保不同模型规模下的计算效率最优;模型规模从适合快速实验的 d12 到具备 GPT-2 能力的 d24 不等。

1.65 小时达到 GPT-2 水平,成本比 2019 年低约 1,000 倍

在一台 8XH100 节点上,这次竞速用 99 分钟训练出 CORE 得分超过 GPT-2(0.256525)的模型,成本约为 $40。相比之下,原版 GPT-2 使用 32 个 TPU v3 芯片训练 168 小时,花费 $43,008,体现出训练效率的巨大进步。

以 CORE 得分作为衡量 GPT-2 能力的基准

项目使用 DCLM CORE 得分作为指标。该指标综合了 22 项评估,包括 ARC 和 MMLU,用于判断模型是否超过 GPT-2 的基准得分 0.256525。目前的纪录是多次运行的平均得分达到 0.262634。

支持不同硬件,并可自动进行梯度累积

在单张 GPU 上,该框架会自动切换到梯度累积,结果保持一致,但速度慢 8 倍。项目也通过 runs/runcpu.sh 支持 CPU 和 Apple Silicon,方便学习;不过在较弱硬件上的效果会明显变差。

💬 Key Quotes

GPT-2 竞速纪录为 1.65 小时,成本约为 2019 年训练 GPT-2 的 1,000 分之一。

nanochat 是 Andrej Karpathy 的实验性框架,可在单个 GPU 节点上从零开始端到端训练大语言模型。

这个名字源自 Karpathy 早先的 nanoGPT,后者只涵盖预训练。nanochat 则继续完成其余步骤,最终训练出聊天机器人。

任务不是读懂标签,而是知道标签没有说什么。

2019 年训练 GPT-2 原版的成本约为 $43,000。

📊 Article Meta

AI Screening: 87

Source: DEV Community: machinelearning

Author: Muhammad Tayyab

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2127

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 大语言模型 (LLM) , AI 硬件与芯片

#AI 与智能应用# 模型训练与推理# AI 工程# 大语言模型 (LLM)# AI 硬件与芯片

文章评论(12)

林拾贝9 天前

内容翔实,正好需要,先收藏再看。

回复
雪知秋9 天前

作者写得真不错,学到了不少。

回复
空向阳9 天前

路过

回复
龙文博9 天前

点赞,必须点赞

回复
墨向阳9 天前

刚好最近在找这方面的资料,太及时了。

回复
北岛渔夫9 天前

楼主辛苦了,内容很有参考价值。

回复
邱文博9 天前

这个比较实用,已转发给同事。

回复
白向阳9 天前

楼主辛苦了,内容很有参考价值。

回复
星知秋9 天前

作者写得真不错,学到了不少。

回复
陈皮话梅糖9 天前

这篇文章分析得很透彻,收藏了!

回复
吴超9 天前

这个观点很中肯,深有同感。

回复
林拾贝9 天前

看完了,收获满满,期待更多更新。

回复