GitHub - kekzl/imp:仅面向 NVIDIA Blackwell 的 LLM 服务器(GeForce RTX 50、RTX PRO)。在单张 RTX 5090 上,Qwen3.8-27B 单用户达 96.3 tok/s,在无投机解码情况下为 vLLM 的 1.38 倍,在相同 GGUF 上为 llama.cpp 的 1.23 倍。可从 32 GB 显卡上以 92.1 tok/s 提供 123.6 GiB 的 Qwen3.8-Flash-Next。兼容 OpenAI 与 Anthro...

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-28265 阅读💛 72 收藏
GitHub - kekzl/imp:仅面向 NVIDIA Blackwell 的 LLM 服务器(GeForce RTX 50、RTX PRO)。在单张 RTX 5090 上,Qwen3.8-27B 单用户达 96.3 tok/s,在无投机解码情况下为 vLLM 的 1.38 倍,在相同 GGUF 上为 llama.cpp 的 1.23 倍。可从 32 GB 显卡上以 92.1 tok/s 提供 123.6 GiB 的 Qwen3.8-Flash-Next。兼容 OpenAI 与 Anthro...

📌 One-Sentence Summary

imp 是一款专为 NVIDIA Blackwell GPU(RTX 50 系列与 RTX PRO)优化的专用 LLM 服务器,通过利用原生 FP4 数学与自定义内核,相较 vLLM 和 llama.cpp 实现显著性能提升。

📝 Summary

imp 是一款专为 NVIDIA Blackwell 架构(sm_120a)设计的高性能 LLM 推理服务器。通过利用原生 4 位(FP4)数学、优化的张量核心与自定义内核,它在单 GPU 配置下相较 vLLM 和 llama.cpp 等通用引擎实现了更高的吞吐量。核心特性包括:通过主机内存专家缓存支持超出显存的模型、兼容 OpenAI 与 Anthropic 的 API,以及基于 Docker 的轻量部署。RTX 5090 上的基准测试显示,imp 在单用户 Qwen3.8-27B 场景下比 vLLM 快 1.38 倍,并在多用户场景下显著超越 llama.cpp。值得注意的是,整个代码库均由 AI 编程智能体(Claude Code)编写。

💡 Main Points

针对 NVIDIA Blackwell 的硬件专属优化。

与通用服务器不同,imp 专为 sm_120a 架构构建,充分利用 RTX 50 与 RTX PRO Blackwell 系列独有的原生 FP4 数学与内存带宽特性。

在单 GPU 上相较现有引擎具有显著性能优势。

在 RTX 5090 上,imp 为 Qwen3.8-27B 实现 96.3 tok/s,比 vLLM(69.9 tok/s)快 1.38 倍,并在相同 GGUF 文件上超过 llama.cpp(62.9 tok/s)。

高效处理超出显存的模型。

对于 Qwen3.8-Flash-Next(123.6 GiB)等 MoE 模型,imp 将专家保留在锁定的主机内存中,并将最繁忙的专家缓存到显卡上,即使模型超出 GPU 显存也能实现高速推理。

AI 原生的开发流程。

该项目的独特之处在于每一行代码均由 AI 编程智能体(Claude Code)编写,并在仓库中保留了审计记录。

💬 Key Quotes

为 Blackwell 而生,别无其他。

imp 的每一行代码均由 AI 编程智能体(Claude Code)编写。

imp 是一款仅面向一代 GPU 的 LLM 服务器:NVIDIA Blackwell sm_120a,涵盖每一款 GeForce RTX 50 与 RTX PRO Blackwell 显卡。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: kekz

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1446

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , LLM 推理优化 , 开源项目

#AI 与智能应用# 模型训练与推理# AI 工程# LLM 推理优化# 开源项目

文章评论(12)

墨向阳18 天前

这个观点很中肯,深有同感。

回复
墨向阳18 天前

赞同,实践出真知。

回复
龙文博19 天前

路过

回复
逐光而行18 天前

点赞,必须点赞

回复
竹听风18 天前

赞同,实践出真知。

回复
武磊18 天前

实话,说的不明不白

回复
蓝归舟18 天前

讲解得很细致,新手也能看懂。

回复
星知秋18 天前

实测过类似工具,作者说的基本属实。

回复
山问津18 天前

看完了,收获满满,期待更多更新。

回复
墨向阳18 天前

作者写得真不错,学到了不少。

回复
星观澜18 天前

楼主辛苦了,内容很有参考价值。

回复
石佳琪18 天前

看完了,收获满满,期待更多更新。

回复