如何使用 llama.cpp 运行 NVIDIA Dory 4B:逐轮详解

📌 One-Sentence Summary
本指南逐步讲解如何构建特定版本的 llama.cpp 分支、下载 NVIDIA Dory 4B GGUF 模型、分析其基于循环的架构,并对不同循环配置下的推理性能进行基准测试。
📝 Summary
本教程全面介绍如何使用定制版 llama.cpp 构建运行 NVIDIA Dory 4B 推理模型。内容涵盖构建支持 Dory 架构的特定 llama.cpp 分支版本,下载并通过 SHA-256 校验和验证 3.7GB 的 Q5_K_M GGUF 文件,以及分析该模型独特的循环结构:每个 token 都可以对循环层重复应用 1-4 次。指南还建立了成本模型,用于预测各循环配置下的参数使用量和 KV 缓存需求;随后通过实际基准测试测量解码速度,并使用 GSM8K 评估准确率权衡。文章显示,与 1 次循环相比,4 次循环处理每个 token 时应用的参数量是其 2.51 倍;在 4,096-token 上下文下,KV 缓存则从 1 次循环时的 306 MiB 增至 4 次循环时的 816 MiB。
💡 Main Points
需要定制版 llama.cpp
由于 Dory 支持目前仅存在于一个尚未合并的开放草稿拉取请求中,且没有已发布的二进制文件能够正确加载该模型,因此文章从提交 98a74c97ea09ac72f6ceda1559808fc0a2f447ce 构建了特定版本的 llama.cpp 分支。
基于循环的架构分析
Dory 4B 采用共享循环块架构,每个 token 都可以重复应用 40 个循环层 1-4 次,且无需增加参数,因此单个检查点便能提供 4 种不同的计算预算。GGUF 文件头中的 dory.num_loops=4 揭示了这一点,不过模型卡建议设置为 2。
不同循环配置的成本模型
文章建立了一个数学模型,预测 4 次循环处理每个 token 时应用的参数量是 1 次循环的 2.51 倍,读取的权重字节数是其 2.28 倍。在 4,096-token 上下文下,KV 缓存从 1 次循环时的 306 MiB 增至 4 次循环时的 816 MiB;per_loop 模式会为每次循环分别保留缓存。
基准测试结果与 GSM8K 评估
指南测量了不同循环次数下的解码速度,并进行成对的 GSM8K 评估,追踪循环次数增加时准确率、答案长度和每道已解题目的耗时如何变化,以实测结果验证理论成本模型。
💬 Key Quotes
「Dory 1.0 4B 是 NVIDIA Nemotron Labs 推出的一款小型推理模型,其中间层构成一个共享块,可针对每个 token 应用 1、2、3 或 4 次。」
「每增加一次计算,即多进行一轮循环,就会为每个 token 消耗更多计算资源,却不会增加任何参数。因此,同一个检查点无需重新训练,就能以 4 种不同的计算预算运行。」
「4 次循环处理每个 token 时应用的参数量是 1 次循环的 2.51 倍,读取的权重字节数是其 2.28 倍;对于受内存带宽限制的解码器,后者是更好的参考指标。」
「GGUF 文件头中的 dory.num_loops=4 揭示了这一点,尽管模型卡建议设置为 2。因此,如果服务器启动时没有覆盖该设置,就会在不提示的情况下采用开销最高的配置。」
📊 Article Meta
AI Screening: 85
Source: MarkTechPost
Author: Sana Hassan
Category: 人工智能
Language: 英文
Read Time: 21 min
Word Count: 5056
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 推理模型 , AI Agent
路过
作者写得真不错,学到了不少。
支持作者,持续关注中。
不错不错,已加入书签。
赞同,实践出真知。
整理得太全面了,省了我不少时间。
楼主辛苦了,内容很有参考价值。
点赞,必须点赞
楼主辛苦了,内容很有参考价值。
作者写得真不错,学到了不少。
赞同,实践出真知。
很有价值的分享,感谢整理。