nanochat:约 2 小时训练出 GPT-2 水平的 ChatGPT

📌 One-Sentence Summary
nanochat 是 Andrej Karpathy 开源的框架,可在单个 GPU 节点上从零开始训练出 GPT-2 水平的 ChatGPT 风格模型,耗时约 2 小时;与 2019 年的训练成本相比,费用降低了 1,000 倍。
📝 Summary
nanochat 是一个基于 PyTorch 的精简框架,可在单个 GPU 节点上端到端训练大语言模型,涵盖分词器训练、预训练、监督微调、评估和推理。该项目的主要成果是一次「达到 GPT-2 水平所需时间」竞速:在一台 8XH100 节点上,仅用 1.65 小时就训练出 CORE 得分超过 GPT-2(0.256525)的模型,成本约为 $40,比 2019 年训练原版 GPT-2 的 $43,000 便宜约 1,000 倍。该框架使用单一复杂度调节参数(--depth),自动推导模型宽度、注意力头数、学习率和训练参数。训练约需 4e19 FLOPs,并采用 FP8 精度;目前的纪录是 5 次运行的 CORE 平均得分达到 0.262634。代码库强调简洁、配置精简,可在 CUDA、CPU 和 Apple Silicon 上运行,不过较弱硬件的效果较差,只适合用于学习训练流程。
💡 Main Points
从分词器到聊天模型的端到端训练框架
nanochat 提供一套完整统一的代码库,涵盖各个阶段:训练 BPE 分词器、使用 FP8 进行预训练、针对对话进行监督微调、使用 CORE 指标评估,以及通过 KV cache 推理。用户无需复杂配置,就能构建出可用的聊天机器人。
通过单一复杂度调节参数(--depth)自动配置计算最优的模型
--depth 标志控制 Transformer 层数,其他参数(宽度、注意力头数、学习率、训练周期)都会自动推导,以确保不同模型规模下的计算效率最优;模型规模从适合快速实验的 d12 到具备 GPT-2 能力的 d24 不等。
1.65 小时达到 GPT-2 水平,成本比 2019 年低约 1,000 倍
在一台 8XH100 节点上,这次竞速用 99 分钟训练出 CORE 得分超过 GPT-2(0.256525)的模型,成本约为 $40。相比之下,原版 GPT-2 使用 32 个 TPU v3 芯片训练 168 小时,花费 $43,008,体现出训练效率的巨大进步。
以 CORE 得分作为衡量 GPT-2 能力的基准
项目使用 DCLM CORE 得分作为指标。该指标综合了 22 项评估,包括 ARC 和 MMLU,用于判断模型是否超过 GPT-2 的基准得分 0.256525。目前的纪录是多次运行的平均得分达到 0.262634。
支持不同硬件,并可自动进行梯度累积
在单张 GPU 上,该框架会自动切换到梯度累积,结果保持一致,但速度慢 8 倍。项目也通过 runs/runcpu.sh 支持 CPU 和 Apple Silicon,方便学习;不过在较弱硬件上的效果会明显变差。
💬 Key Quotes
GPT-2 竞速纪录为 1.65 小时,成本约为 2019 年训练 GPT-2 的 1,000 分之一。
nanochat 是 Andrej Karpathy 的实验性框架,可在单个 GPU 节点上从零开始端到端训练大语言模型。
这个名字源自 Karpathy 早先的 nanoGPT,后者只涵盖预训练。nanochat 则继续完成其余步骤,最终训练出聊天机器人。
任务不是读懂标签,而是知道标签没有说什么。
2019 年训练 GPT-2 原版的成本约为 $43,000。
📊 Article Meta
AI Screening: 87
Source: DEV Community: machinelearning
Author: Muhammad Tayyab
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2127
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 大语言模型 (LLM) , AI 硬件与芯片
内容翔实,正好需要,先收藏再看。
作者写得真不错,学到了不少。
路过
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
楼主辛苦了,内容很有参考价值。
这个比较实用,已转发给同事。
楼主辛苦了,内容很有参考价值。
作者写得真不错,学到了不少。
这篇文章分析得很透彻,收藏了!
这个观点很中肯,深有同感。
看完了,收获满满,期待更多更新。