最适合运行本地大语言模型 (LLM) 的显卡推荐

270 亿参数的稠密视觉语言大模型，其混合线性注意力让 KV 缓存极小——单张 16-24 GB 显卡即可运行 128k 以上上下文，原生 262k 窗口并可扩展至 100 万。

2840 亿参数的混合专家 (MoE) 大模型，每个 token 仅激活 130 亿参数，上下文达 100 万 token。权重较大，需要多卡或 CPU 卸载运行，但每 token 仅激活 130 亿，因此生成速度依然很快。

OpenAI 的 1170 亿参数开源权重混合专家 (MoE) 大模型，激活参数 51 亿。其原生 MXFP4 权重可装入单张 80-96 GB 显卡，激活参数少使生成速度很快。

前沿级密集型模型，拥有深厚的数学、编程和工程综合理解力。

大规模混合专家 (MoE) 编程大模型，专为 16GB 至 24GB 显存目标配置优化。

谷歌的顶尖高密度 MoE 模型，专为复杂的编程和推理开发。

轻量、极速的密集型模型，非常适合标准家用消费级硬件配置。

顶尖推理能力浓缩于 14B 紧凑模型中。在任何 12GB 以上显卡上都能实现强劲的科学/编程表现。

专为 24GB 显卡准备的中等体量推理利器。在数学、编程和逻辑基准测试上直逼前沿模型。

高效的密集型模型，具有广泛的多语言支持和原生函数调用。使用 Q4 量化可完美装入 16GB 显卡。

Meta 最易获取的 MoE 旗舰大模型 — 17B 的激活参数可在工作站级别硬件上带来极佳的表现。

多才多艺的 7B 稠密模型，专为在入门级到中端 GPU 上进行高效本地推理而打造。

OpenAI 的家用推理大模型，专为在主流家用硬件上无妥协流畅运行而设计。

超紧凑的 4B NVIDIA 模型，几乎可以轻松适配任何现代 GPU——非常适合边缘和便携式部署。

超大规模 80B 混合专家 (MoE) 模型，仅 3B 活跃参数——需要 48GB 工作站显卡，但生成速度堪比小模型。