GitHub - kekzl/imp:仅面向 NVIDIA Blackwell 的 LLM 服务器(GeForce RTX 50、RTX PRO)。在单张 RTX 5090 上,Qwen3.8-27B 单用户达 96.3 tok/s,在无投机解码情况下为 vLLM 的 1.38 倍,在相同 GGUF 上为 llama.cpp 的 1.23 倍。可从 32 GB 显卡上以 92.1 tok/s 提供 123.6 GiB 的 Qwen3.8-Flash-Next。兼容 OpenAI 与 Anthro...
📌 One-Sentence Summary
imp 是一款专为 NVIDIA Blackwell GPU(RTX 50 系列与 RTX PRO)优化的专用 LLM 服务器,通过利用原生 FP4 数学与自定义内核,相较 vLLM 和 llama.cpp 实现显著性能提升。
📝 Summary
imp 是一款专为 NVIDIA Blackwell 架构(sm_120a)设计的高性能 LLM 推理服务器。通过利用原生 4 位(FP4)数学、优化的张量核心与自定义内核,它在单 GPU 配置下相较 vLLM 和 llama.cpp 等通用引擎实现了更高的吞吐量。核心特性包括:通过主机内存专家缓存支持超出显存的模型、兼容 OpenAI 与 Anthropic 的 API,以及基于 Docker 的轻量部署。RTX 5090 上的基准测试显示,imp 在单用户 Qwen3.8-27B 场景下比 vLLM 快 1.38 倍,并在多用户场景下显著超越 llama.cpp。值得注意的是,整个代码库均由 AI 编程智能体(Claude Code)编写。
💡 Main Points
针对 NVIDIA Blackwell 的硬件专属优化。
与通用服务器不同,imp 专为 sm_120a 架构构建,充分利用 RTX 50 与 RTX PRO Blackwell 系列独有的原生 FP4 数学与内存带宽特性。
在单 GPU 上相较现有引擎具有显著性能优势。
在 RTX 5090 上,imp 为 Qwen3.8-27B 实现 96.3 tok/s,比 vLLM(69.9 tok/s)快 1.38 倍,并在相同 GGUF 文件上超过 llama.cpp(62.9 tok/s)。
高效处理超出显存的模型。
对于 Qwen3.8-Flash-Next(123.6 GiB)等 MoE 模型,imp 将专家保留在锁定的主机内存中,并将最繁忙的专家缓存到显卡上,即使模型超出 GPU 显存也能实现高速推理。
AI 原生的开发流程。
该项目的独特之处在于每一行代码均由 AI 编程智能体(Claude Code)编写,并在仓库中保留了审计记录。
💬 Key Quotes
为 Blackwell 而生,别无其他。
imp 的每一行代码均由 AI 编程智能体(Claude Code)编写。
imp 是一款仅面向一代 GPU 的 LLM 服务器:NVIDIA Blackwell sm_120a,涵盖每一款 GeForce RTX 50 与 RTX PRO Blackwell 显卡。
📊 Article Meta
AI Screening: 86
Source: Hacker News - Newest: "LLM"
Author: kekz
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1446
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , LLM 推理优化 , 开源项目
这个观点很中肯,深有同感。
赞同,实践出真知。
路过
点赞,必须点赞
赞同,实践出真知。
实话,说的不明不白
讲解得很细致,新手也能看懂。
实测过类似工具,作者说的基本属实。
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
楼主辛苦了,内容很有参考价值。
看完了,收获满满,期待更多更新。