Melhor GPU para gpt-oss-120b localmente
Preços em tempo real e recomendações de hardware atualizados para agosto de 2026.
O gpt-oss-120b é um modelo de mistura de especialistas: todos os 117B de parâmetros precisam ficar na VRAM, mas apenas 5.1B são ativados por token — por isso ele gera muito mais rápido que um modelo denso do mesmo tamanho, embora exija a mesma memória.
Para executar o gpt-oss-120b localmente você precisa de cerca de 67.9 GB de VRAM com quantização Q4_K_M e um contexto de 32k tokens. A placa com melhor custo-benefício que comporta o modelo é a RTX PRO 6000 Blackwell (96 GB), que deve gerar cerca de 190 tokens por segundo.
Ajustar comprimento do contexto
Deslize para tamanhos populares ou digite um valor manualmente.
Hardware recomendado
Q3 weights are ~50 GB — past every consumer card, so the 96 GB RTX PRO 6000 Blackwell is the single-GPU entry point. With only 5.1B params active per token, llama.cpp expert-offload (--n-cpu-moe) is the cheaper route: keep the hot path on a 24-48 GB card and page the experts from system RAM.
Hardware recomendado
Q4 weights are ~67 GB, close to the model's native MXFP4 (~63 GB) format. A single 96 GB RTX PRO 6000 Blackwell (or an 80 GB data-center card) runs it at full quality and context; only 5.1B active parameters keep decode fast despite the 117B total.
Hardware recomendado
Nenhuma GPU encontrada correspondendo a Navegar por todas as GPUs
Q8 needs ~135 GB — a multi-GPU or unified-memory setup. gpt-oss ships in MXFP4 and is already near-lossless at that ~4-bit format, so Q8 is rarely worth the extra hardware.
Outros modelos com o mesmo requisito de VRAM
Como os pesos de gpt-oss-120b cabem em uma placa de 96 GB, outros modelos de tamanho semelhante rodam na mesma GPU. A velocidade de geração varia — modelos Mixture-of-Experts são mais rápidos, modelos densos mais lentos — mas todos cabem na mesma VRAM:
Otimizando a configuração para gpt-oss-120b
Recomendações de quantização
Para tarefas diárias de programação e raciocínio, o Q4_K_M (quantização de 4 bits) oferece o melhor equilíbrio entre qualidade e eficiência de memória: reduz os requisitos de memória em mais de 70% com uma perda de qualidade mínima em comparação com FP16. Os ajustes Q8 e superiores preservam mais fidelidade ao custo de um uso de VRAM significativamente maior, o que pode forçar o descarregamento de camadas e reduzir o desempenho.
Software local recomendado
Recomendamos usar o Ollama como o executor principal para inferência local devido ao seu particionamento de GPU automatizado e otimizações de cache de contexto. Para ajustes avançados ou partições de quantização, o llama.cpp compilado nativamente com Flash Attention fornece o melhor controle granular.
Executando o gpt-oss-120b localmente — perguntas frequentes
De quanta VRAM preciso para executar o gpt-oss-120b?
Com um contexto de 32k e a quantização do cache KV ativada, o gpt-oss-120b precisa de cerca de 67.9 GB de VRAM em Q4_K_M — a quantização indicada para a maioria. Baixar para Q3_K_M reduz para aproximadamente 51.1 GB com alguma perda de qualidade, enquanto Q8_0 exige cerca de 135.2 GB para a melhor qualidade que este modelo consegue entregar.
Em que tamanho de placa de vídeo o gpt-oss-120b cabe?
O gpt-oss-120b precisa de cerca de 67.9 GB em Q4_K_M, mais do que uma única placa de consumo de 24 GB oferece. Você precisa de uma placa de estação de trabalho, uma configuração multi-GPU ou uma quantização mais agressiva; caso contrário, as camadas vão para a RAM do sistema e a geração fica drasticamente mais lenta.
Qual quantização devo usar para o gpt-oss-120b?
Use Q4_K_M, a menos que tenha VRAM sobrando. Ele precisa de cerca de 67.9 GB e perde muito pouca qualidade em relação à precisão total. O Q8_0 exige cerca de 135.2 GB por um ganho de qualidade que quase ninguém percebe ao programar ou conversar. Prefira usar a VRAM restante para um contexto mais longo.
Como o tamanho do contexto afeta a VRAM exigida pelo gpt-oss-120b?
Os pesos do modelo são fixos, mas o cache KV cresce linearmente com o contexto. Para o gpt-oss-120b com um contexto de 32k, o cache ocupa cerca de 0.7 GB; dobrando para 64k, ele chega a aproximadamente 1.3 GB. Desativar a quantização do cache KV dobra novamente esses valores.
Por que o gpt-oss-120b é mais rápido do que seu número de parâmetros sugere?
O gpt-oss-120b é um modelo de mistura de especialistas. Todos os seus 117B de parâmetros precisam estar na VRAM, mas apenas 5.1B são usados para produzir cada token. A velocidade de geração depende de ler esses 5.1B de parâmetros ativos, então ele se comporta muito mais como um modelo de 5.1B do que de 117B — embora ainda exija memória para os 117B completos.
A mesma GPU pode rodar outros modelos semelhantes ao gpt-oss-120b?
Sim. gpt-oss-120b precisa de cerca de 67.9 GB em Q4_K_M, e qualquer modelo cujos pesos caibam na mesma placa roda nela — incluindo Qwen3.5-122B-A10B (122B), DBRX (132B), Mixtral 8x22B (141B). Os pesos cabem na mesma GPU; a velocidade de geração varia (modelos Mixture-of-Experts são mais rápidos, modelos densos mais lentos).
▸Como as velocidades de tokens são estimadas
Como calculamos o Índice de Valor da GPU e normalizamos os dados de mercado.
Leitura (Prefill)
A consulta é processada em uma única passagem paralela. Isso é limitado por capacidade de computação: satura os tensor cores da GPU.
Decodificação (Geração)
Cada novo token exige carregar todos os pesos ativos do modelo a partir da VRAM. Isso é limitado pela largura de banda de memória: a GPU para aguardando dados em vez de computar.
Pesos = (activeParams × bits ÷ 8) × 1.15 de sobrecarga. Cachê KV por passo = activeParams × multiplicador × contextK.
Fatores de utilização por arquitetura
Esquerda: fator de decodificação — Direita: fator de leitura
Fontes de dados
Os TFLOPS e a largura de banda de memória são lidos do banco de dados de GPUs. Se ausentes, a largura de banda recorre a uma lista predefinida.
Limitações
Estas são estimativas analíticas, não resultados de testes reais. Use-as como uma comparação relativa, não como uma garantia absoluta de desempenho.