在本地运行 gpt-oss-120b 的最佳显卡选择
针对 2026年8月 更新的实时显卡价格与硬件配置推荐。
gpt-oss-120b 是混合专家（MoE）模型：全部 117B 参数都必须驻留在显存中，但每个 token 只激活 5.1B——因此它比同等规模的稠密模型生成快得多，却仍需要同样多的显存。
在本地运行 gpt-oss-120b 需要约 67.9 GB 显存（Q4_K_M 量化，32k 上下文）。 性价比最高且显存足够的显卡是 RTX PRO 6000 Blackwell（96 GB），预计生成速度约为每秒 190 个 token。
调整上下文长度
滑动选择常用大小，或手动输入任意数值。
配置推荐
Q3 weights are ~50 GB — past every consumer card, so the 96 GB RTX PRO 6000 Blackwell is the single-GPU entry point. With only 5.1B params active per token, llama.cpp expert-offload (--n-cpu-moe) is the cheaper route: keep the hot path on a 24-48 GB card and page the experts from system RAM.
配置推荐
Q4 weights are ~67 GB, close to the model's native MXFP4 (~63 GB) format. A single 96 GB RTX PRO 6000 Blackwell (or an 80 GB data-center card) runs it at full quality and context; only 5.1B active parameters keep decode fast despite the 117B total.
Q8 needs ~135 GB — a multi-GPU or unified-memory setup. gpt-oss ships in MXFP4 and is already near-lossless at that ~4-bit format, so Q8 is rarely worth the extra hardware.
显存需求相同的其他模型
由于 gpt-oss-120b 的权重可装入 96GB 显卡，其他相近规模的模型也能在同一块 GPU 上运行。生成速度有所不同——混合专家 (MoE) 模型更快，密集模型更慢——但它们都能装入相同的显存：
针对 gpt-oss-120b 的配置优化建议
量化精度选购建议
对于日常编程和推理任务，Q4_K_M（4 位量化）提供了质量和显存效率的最佳平衡 — 与 FP16 相比，它在显存占用减少 70% 以上的同时，精度损失微乎其微。Q8 及更高量化虽然能更完美地保留模型精度，但显存占用将大幅增加，这可能会迫使模型层移入系统内存运行，从而严重降低吞吐速度。
推荐本地运行软件
对于本地推理，我们强烈推荐使用 Ollama 作为主要运行器，它支持极其优秀的多卡自动分割与上下文缓存优化。对于进阶微调或极精细的量化拆分，原生编译并启用 Flash Attention 的 llama.cpp 能提供最好的微观掌控度。
本地运行 gpt-oss-120b — 常见问题
运行 gpt-oss-120b 需要多少显存？
在 32k 上下文并开启 KV 缓存量化的情况下，gpt-oss-120b 在 Q4_K_M 下约需 67.9 GB 显存——这也是大多数人应当选择的量化等级。降到 Q3_K_M 可减至约 51.1 GB，但会损失一些质量；Q8_0 约需 135.2 GB，可发挥该模型的最佳质量。
gpt-oss-120b 能装进多大显存的显卡？
gpt-oss-120b 在 Q4_K_M 下约需 67.9 GB，超出单张 24 GB 消费级显卡的容量。你需要工作站显卡、多卡方案或更激进的量化；否则部分层会溢出到系统内存，生成速度将大幅下降。
gpt-oss-120b 应该使用哪种量化？
除非显存充裕，否则请使用 Q4_K_M。它约需 67.9 GB，相比全精度几乎不损失质量。Q8_0 约需 135.2 GB，换来的质量提升在日常编程和对话中几乎无法察觉。多余的显存更适合用来延长上下文。
上下文长度如何影响 gpt-oss-120b 所需的显存？
模型权重是固定的，但 KV 缓存随上下文线性增长。gpt-oss-120b 在 32k 上下文下，缓存约占 0.7 GB；翻倍到 64k 时约为 1.3 GB。若关闭 KV 缓存量化，这些数值还会再翻一倍。
为什么 gpt-oss-120b 比其参数量所暗示的更快？
gpt-oss-120b 是混合专家（MoE）模型。它的 117B 参数必须全部驻留在显存中，但每生成一个 token 只用到 5.1B。生成速度取决于读取这 5.1B 激活参数，因此它的实际表现更接近 5.1B 模型而非 117B 模型——尽管仍需为完整的 117B 准备显存。
同一块 GPU 能运行与 gpt-oss-120b 相近的其他模型吗？
可以。gpt-oss-120b 在 Q4_K_M 下约需 67.9GB，任何权重能装入同一块显卡的模型都能运行——包括 Qwen3.5-122B-A10B (122B), DBRX (132B), Mixtral 8x22B (141B)。权重可装入同一块 GPU；但生成速度不同（混合专家 (MoE) 模型更快，密集模型更慢）。
▸如何估算 Token 生成速度
我们如何计算 GPU 性价比评分并标准化市场数据。
输入读取 (Prefill)
提示词 (Prompt) 输入是在一个并行的通道中一次性处理的。这是一个典型的算力瓶颈 (compute-bound)过程：它会饱和挤满 GPU 的张量核心 (Tensor Cores)。
生成解码 (Decode)
在生成每个新 token 的过程中，需要从显存中加载完整的模型活动权重。这是一个典型的显存带宽瓶颈 (memory-bandwidth-bound)过程：GPU 处于等待数据加载的状态，而非计算状态。
模型权重 = (激活参数量 × 量化位数 ÷ 8) × 1.15 框架开销；单步 KV 缓存 = 激活参数量 × KV系数 × 上下文长度。
显卡架构利用率系数
左侧：解码 (Decode) 系数 — 右侧：读取 (Read) 系数
数据来源
TFLOPS 算力和显存带宽均读取自显卡数据库。如果数据缺失，带宽将退回到内置的硬编码参数字典。
局限性说明
以上数据均为基于数学模型推导的理论估算值，而非实际测量的跑分。请将其作为硬件横向对比的相对参考，而非绝对性能保证。