跳至主要内容

最适合运行本地大语言模型 (LLM) 的显卡推荐

在本地运行大模型,关键在于将显存 (VRAM) 预算与模型量化精度及上下文大小进行合理匹配。使用下方的实时计算器估算显存占用,并浏览针对各模型的选购指南。

浏览本地大模型指南

阿里通义千问 (Qwen)

QWEN-3.6-CODER-27B

dense

前沿级密集型模型,拥有深厚的数学、编程和工程综合理解力。

总参数量
27B
激活参数
27B
最大上下文
32k
查看模型与显卡详情
阿里通义千问 (Qwen)

QWEN-3.6-35B-A3B

moe

大规模混合专家 (MoE) 编程大模型,专为 16GB 至 24GB 显存目标配置优化。

总参数量
35B
激活参数
3B
最大上下文
32k
查看模型与显卡详情
谷歌 (Google)

GEMMA-4-26B-A4B

moe

谷歌的顶尖高密度 MoE 模型,专为复杂的编程和推理开发。

总参数量
26B
激活参数
4B
最大上下文
64k
查看模型与显卡详情
谷歌 (Google)

GEMMA-4-12B

dense

轻量、极速的密集型模型,非常适合标准家用消费级硬件配置。

总参数量
12B
激活参数
12B
最大上下文
64k
查看模型与显卡详情
深度求索 (DeepSeek)

DEEPSEEK-R1-DISTILL-14B

dense

顶尖推理能力浓缩于 14B 紧凑模型中。在任何 12GB 以上显卡上都能实现强劲的科学/编程表现。

总参数量
14B
激活参数
14B
最大上下文
32k
查看模型与显卡详情
深度求索 (DeepSeek)

DEEPSEEK-R1-DISTILL-32B

dense

专为 24GB 显卡准备的中等体量推理利器。在数学、编程和逻辑基准测试上直逼前沿模型。

总参数量
32B
激活参数
32B
最大上下文
32k
查看模型与显卡详情
Mistral AI

MISTRAL-SMALL-3.1-24B

dense

高效的密集型模型,具有广泛的多语言支持和原生函数调用。使用 Q4 量化可完美装入 16GB 显卡。

总参数量
24B
激活参数
24B
最大上下文
128k
查看模型与显卡详情
Meta

LLAMA-4-SCOUT-109B-A17B

moe

Meta 最易获取的 MoE 旗舰大模型 — 17B 的激活参数可在工作站级别硬件上带来极佳的表现。

总参数量
109B
激活参数
17B
最大上下文
64k
查看模型与显卡详情
OpenAI

GPT-OSS-20B

dense

OpenAI 的家用推理大模型,专为在主流家用硬件上无妥协流畅运行而设计。

总参数量
20B
激活参数
20B
最大上下文
32k
查看模型与显卡详情

自定义模型配置的 GPU 推荐

27B
3B14B27B35B70B+
32k token
8k32k64k96k128k

预估显存占用

显存 (VRAM)19 GB
权重: 15.5GB
KV: 3.5GB

常见问题

关于本地大语言模型 (LLM) 推理显卡选择的常见问题。