如何运行 Underdog Saluki 27B:2-Bit Qwen3.8-27B 工具调用指南

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-26201 阅读💛 36 收藏
如何运行 Underdog Saluki 27B:2-Bit Qwen3.8-27B 工具调用指南

📌 One-Sentence Summary

本教程演示如何使用 llama.cpp 和 Berkeley Function Calling Leaderboard 运行并评估 Underdog Saluki 27B 模型,这是针对工具调用优化的 Qwen3.8-27B 的 2-bit 量化版本。

📝 Summary

本指南涵盖 Underdog Saluki 27B 模型的设置与执行,包括下载必要文件、将该模型的结构与原始 ISTA 量化版本进行对比,以及执行基准测试。文中重点介绍了该模型在工具调用任务中的表现,并详细分析了其相对于全精度模型的内存占用与速度。

💡 Main Points

本教程将 Underdog Saluki 27B 模型与原始 ISTA-DASLab 量化版本进行对比,显示虽然张量结构完全相同,但 Saluki 降低了特定张量(如输出层和 FFN 下投影)的精度,以实现更小的文件体积。

基准测试表现

借助 Berkeley Function Calling Leaderboard,本指南评估了模型解释和执行函数调用的能力。结果显示,2-bit 量化模型保持了较高的准确率,在严格评估中得分 95.8%,与全精度模型相当。

硬件与内存

本指南详细说明了运行该模型的硬件要求,特别指出 2-bit 量化使模型能够适配单块 NVIDIA T4 GPU 的内存限制,适合本地部署。

💬 Key Quotes

Saluki 基于 ISTA-DASLab 对同一模型的 GSQ-RCO 量化构建,因此我们将两个文件并排放在原版 llama.cpp 中进行对比。

📊 Article Meta

AI Screening: 85

Source: MarkTechPost

Author: Sana Hassan

Category: 人工智能

Language: 英文

Read Time: 24 min

Word Count: 5983

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 本地与端侧 AI , 开源项目

#AI 与智能应用# 模型训练与推理# 性能优化# 本地与端侧 AI# 开源项目

文章评论(12)

星知秋21 天前

内容翔实,正好需要,先收藏再看。

回复
一叶知秋21 天前

很有价值的分享,感谢整理。

回复
星寻梦21 天前

实话,说的不明不白

回复
竹听风21 天前

点赞,必须点赞

回复
墨向阳21 天前

实测过类似工具,作者说的基本属实。

回复
林拾贝21 天前

看标题就点进来了,内容果然没让人失望。

回复
邱文博21 天前

赞同,实践出真知。

回复
星知秋21 天前

收藏了,以后慢慢研究。

回复
风拾光21 天前

收藏了,以后慢慢研究。

回复
一个橘子21 天前

整理得太全面了,省了我不少时间。

回复
蓝归舟21 天前

有没有更详细的教程,期待后续。

回复
龙文博21 天前

内容翔实,正好需要,先收藏再看。

回复