如何使用 llama.cpp 运行 NVIDIA Dory 4B:逐轮详解

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-081229 阅读💛 256 收藏
如何使用 llama.cpp 运行 NVIDIA Dory 4B:逐轮详解

📌 One-Sentence Summary

本指南逐步讲解如何构建特定版本的 llama.cpp 分支、下载 NVIDIA Dory 4B GGUF 模型、分析其基于循环的架构,并对不同循环配置下的推理性能进行基准测试。

📝 Summary

本教程全面介绍如何使用定制版 llama.cpp 构建运行 NVIDIA Dory 4B 推理模型。内容涵盖构建支持 Dory 架构的特定 llama.cpp 分支版本,下载并通过 SHA-256 校验和验证 3.7GB 的 Q5_K_M GGUF 文件,以及分析该模型独特的循环结构:每个 token 都可以对循环层重复应用 1-4 次。指南还建立了成本模型,用于预测各循环配置下的参数使用量和 KV 缓存需求;随后通过实际基准测试测量解码速度,并使用 GSM8K 评估准确率权衡。文章显示,与 1 次循环相比,4 次循环处理每个 token 时应用的参数量是其 2.51 倍;在 4,096-token 上下文下,KV 缓存则从 1 次循环时的 306 MiB 增至 4 次循环时的 816 MiB。

💡 Main Points

需要定制版 llama.cpp

由于 Dory 支持目前仅存在于一个尚未合并的开放草稿拉取请求中,且没有已发布的二进制文件能够正确加载该模型,因此文章从提交 98a74c97ea09ac72f6ceda1559808fc0a2f447ce 构建了特定版本的 llama.cpp 分支。

基于循环的架构分析

Dory 4B 采用共享循环块架构,每个 token 都可以重复应用 40 个循环层 1-4 次,且无需增加参数,因此单个检查点便能提供 4 种不同的计算预算。GGUF 文件头中的 dory.num_loops=4 揭示了这一点,不过模型卡建议设置为 2。

不同循环配置的成本模型

文章建立了一个数学模型,预测 4 次循环处理每个 token 时应用的参数量是 1 次循环的 2.51 倍,读取的权重字节数是其 2.28 倍。在 4,096-token 上下文下,KV 缓存从 1 次循环时的 306 MiB 增至 4 次循环时的 816 MiB;per_loop 模式会为每次循环分别保留缓存。

基准测试结果与 GSM8K 评估

指南测量了不同循环次数下的解码速度,并进行成对的 GSM8K 评估,追踪循环次数增加时准确率、答案长度和每道已解题目的耗时如何变化,以实测结果验证理论成本模型。

💬 Key Quotes

「Dory 1.0 4B 是 NVIDIA Nemotron Labs 推出的一款小型推理模型,其中间层构成一个共享块,可针对每个 token 应用 1、2、3 或 4 次。」

「每增加一次计算,即多进行一轮循环,就会为每个 token 消耗更多计算资源,却不会增加任何参数。因此,同一个检查点无需重新训练,就能以 4 种不同的计算预算运行。」

「4 次循环处理每个 token 时应用的参数量是 1 次循环的 2.51 倍,读取的权重字节数是其 2.28 倍;对于受内存带宽限制的解码器,后者是更好的参考指标。」

「GGUF 文件头中的 dory.num_loops=4 揭示了这一点,尽管模型卡建议设置为 2。因此,如果服务器启动时没有覆盖该设置,就会在不提示的情况下采用开销最高的配置。」

📊 Article Meta

AI Screening: 85

Source: MarkTechPost

Author: Sana Hassan

Category: 人工智能

Language: 英文

Read Time: 21 min

Word Count: 5056

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 推理模型 , AI Agent

#AI 与智能应用# 模型训练与推理# 性能优化# 推理模型# AI Agent

文章评论(12)

墨向阳7 天前

路过

回复
杨丽华7 天前

作者写得真不错,学到了不少。

回复
北岛渔夫7 天前

支持作者,持续关注中。

回复
蒋力7 天前

不错不错,已加入书签。

回复
吴超7 天前

赞同,实践出真知。

回复
陈皮话梅糖7 天前

整理得太全面了,省了我不少时间。

回复
山问津7 天前

楼主辛苦了,内容很有参考价值。

回复
风倚栏7 天前

点赞,必须点赞

回复
龙文博7 天前

楼主辛苦了,内容很有参考价值。

回复
月沐雨7 天前

作者写得真不错,学到了不少。

回复
杨丽华7 天前

赞同,实践出真知。

回复
星知秋7 天前

很有价值的分享,感谢整理。

回复