我的 GPU 能运行哪些 LLM?— quantized.uk

📌 One-Sentence Summary
该网站提供全面的量化语言模型数据库,方便用户查看模型与自有 GPU 硬件的兼容性,并了解详细的性能基准数据。
📝 Summary
该网站界面简洁易用,可帮助用户判断各类 GPU 能运行哪些大语言模型(LLM)。网站提供硬件搜索功能、用于估算显存需求的 VRAM 计算器,以及展示实际性能数据的基准测试表。数据库涵盖了众多模型,包括 NVIDIA、OpenAI 等领先 AI 公司推出的最新模型。
💡 Main Points
硬件兼容性检查
用户可以选择自己的 GPU 型号,查看哪些 LLM 与之兼容。网站会根据模型能否轻松运行、显存是否吃紧,或是否需要升级硬件进行分类。
详细的模型信息
网站为每个模型提供量化格式、标准上下文窗口(4K)下所需的 VRAM、原作者等关键规格,帮助用户判断应该下载哪个模型。
性能基准测试
「Benchmarks」板块通过表格展示不同模型和硬件配置下的实测性能数据,包括每秒生成的 token 数(tok/s)和 VRAM 使用量。这些数据对于比较不同模型的速度和效率至关重要。
网站精选了一系列「Editor's Picks」,展示表现出色的量化版本。这一板块为想尝试优质模型的用户提供参考,通常会收录该领域的最新进展。
💬 Key Quotes
它能装进你的显卡吗?选择你的显卡和用途,即可找到真正能运行的模型、每个模型的显存计算依据,以及启动命令。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: sheephess44
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2338
Tags:
AI 与智能应用 , 大语言模型 (LLM) , AI 硬件与芯片 , OpenAI , NVIDIA
有没有更详细的教程,期待后续。
不错不错,已加入书签。
看标题就点进来了,内容果然没让人失望。
这篇文章分析得很透彻,收藏了!
很有价值的分享,感谢整理。
看标题就点进来了,内容果然没让人失望。
这个比较实用,已转发给同事。
看标题就点进来了,内容果然没让人失望。
思路清晰,干货满满。
整理得太全面了,省了我不少时间。
不错不错,已加入书签。
讲解得很细致,新手也能看懂。