Melhor GPU para gpt-oss-120b localmente
Preços em tempo real e recomendações de hardware atualizados para outubro de 2026.
O gpt-oss-120b é um modelo de mistura de especialistas: todos os 117B de parâmetros precisam ficar na VRAM, mas apenas 5.1B são ativados por token — por isso ele gera muito mais rápido que um modelo denso do mesmo tamanho, embora exija a mesma memória.
Para executar o gpt-oss-120b localmente você precisa de cerca de 67.9 GB de VRAM com quantização Q4_K_M e um contexto de 32k tokens. A placa com melhor custo-benefício que comporta o modelo é a RTX PRO 6000 Blackwell (96 GB), que deve gerar cerca de 190 tokens por segundo.
Ajustar comprimento do contexto
Deslize para tamanhos populares ou digite um valor manualmente.
Hardware recomendado
Os pesos Q3 ocupam ~50 GB — acima de qualquer placa de consumo, então a RTX PRO 6000 Blackwell de 96 GB é a porta de entrada com uma única GPU. Com apenas 5.1B parâmetros ativos por token, o offload de especialistas do llama.cpp (--n-cpu-moe) sai mais barato: mantenha o caminho quente em uma placa de 24-48 GB e pagine os especialistas da RAM do sistema.
Hardware recomendado
Os pesos Q4 ocupam ~67 GB, perto do formato nativo MXFP4 (~63 GB) do modelo. Uma única RTX PRO 6000 Blackwell de 96 GB (ou uma placa de data center de 80 GB) roda com qualidade e contexto completos; apenas 5.1B parâmetros ativos mantêm a decodificação rápida apesar dos 117B totais.
Hardware recomendado
Nenhuma GPU encontrada correspondendo a Navegar por todas as GPUs
Q8 precisa de ~135 GB — uma configuração multi-GPU ou de memória unificada. O gpt-oss é distribuído em MXFP4 e já é quase sem perdas nesse formato de ~4 bits, então Q8 raramente compensa o hardware extra.
Outros modelos com o mesmo requisito de VRAM
Como os pesos de gpt-oss-120b cabem em uma placa de 96 GB, outros modelos de tamanho semelhante rodam na mesma GPU. A velocidade de geração varia — modelos Mixture-of-Experts são mais rápidos, modelos densos mais lentos — mas todos cabem na mesma VRAM:
Otimizando a configuração para gpt-oss-120b
Recomendações de quantização
Para tarefas diárias de programação e raciocínio, o Q4_K_M (quantização de 4 bits) oferece o melhor equilíbrio entre qualidade e eficiência de memória: reduz os requisitos de memória em mais de 70% com uma perda de qualidade mínima em comparação com FP16. Os ajustes Q8 e superiores preservam mais fidelidade ao custo de um uso de VRAM significativamente maior, o que pode forçar o descarregamento de camadas e reduzir o desempenho.
Software local recomendado
Recomendamos usar o Ollama como o executor principal para inferência local devido ao seu particionamento de GPU automatizado e otimizações de cache de contexto. Para ajustes avançados ou partições de quantização, o llama.cpp compilado nativamente com Flash Attention fornece o melhor controle granular.
Executando o gpt-oss-120b localmente — perguntas frequentes
De quanta VRAM preciso para executar o gpt-oss-120b?
Com um contexto de 32k e a quantização do cache KV ativada, o gpt-oss-120b precisa de cerca de 67.9 GB de VRAM em Q4_K_M — a quantização indicada para a maioria. Baixar para Q3_K_M reduz para aproximadamente 51.1 GB com alguma perda de qualidade, enquanto Q8_0 exige cerca de 135.2 GB para a melhor qualidade que este modelo consegue entregar.
Em que tamanho de placa de vídeo o gpt-oss-120b cabe?
O gpt-oss-120b precisa de cerca de 67.9 GB em Q4_K_M, mais do que uma única placa de consumo de 24 GB oferece. Você precisa de uma placa de estação de trabalho, uma configuração multi-GPU ou uma quantização mais agressiva; caso contrário, as camadas vão para a RAM do sistema e a geração fica drasticamente mais lenta.
Qual quantização devo usar para o gpt-oss-120b?
Use Q4_K_M, a menos que tenha VRAM sobrando. Ele precisa de cerca de 67.9 GB e perde muito pouca qualidade em relação à precisão total. O Q8_0 exige cerca de 135.2 GB por um ganho de qualidade que quase ninguém percebe ao programar ou conversar. Prefira usar a VRAM restante para um contexto mais longo.
Como o tamanho do contexto afeta a VRAM exigida pelo gpt-oss-120b?
Os pesos do modelo são fixos, mas o cache KV cresce linearmente com o contexto. Para o gpt-oss-120b com um contexto de 32k, o cache ocupa cerca de 0.7 GB; dobrando para 64k, ele chega a aproximadamente 1.3 GB. Desativar a quantização do cache KV dobra novamente esses valores.
Por que o gpt-oss-120b é mais rápido do que seu número de parâmetros sugere?
O gpt-oss-120b é um modelo de mistura de especialistas. Todos os seus 117B de parâmetros precisam estar na VRAM, mas apenas 5.1B são usados para produzir cada token. A velocidade de geração depende de ler esses 5.1B de parâmetros ativos, então ele se comporta muito mais como um modelo de 5.1B do que de 117B — embora ainda exija memória para os 117B completos.
A mesma GPU pode rodar outros modelos semelhantes ao gpt-oss-120b?
Sim. gpt-oss-120b precisa de cerca de 67.9 GB em Q4_K_M, e qualquer modelo cujos pesos caibam na mesma placa roda nela — incluindo Qwen3.5-122B-A10B (122B), DBRX (132B), Mixtral 8x22B (141B). Os pesos cabem na mesma GPU; a velocidade de geração varia (modelos Mixture-of-Experts são mais rápidos, modelos densos mais lentos).
▸Como as velocidades de tokens são estimadas
Como calculamos o Índice de Valor da GPU e normalizamos os dados de mercado.
Leitura (Prefill)
A consulta é processada em uma única passagem paralela. Isso é limitado por capacidade de computação: satura os tensor cores da GPU.
Decodificação (Geração)
Cada novo token exige carregar todos os pesos ativos do modelo a partir da VRAM. Isso é limitado pela largura de banda de memória: a GPU para aguardando dados em vez de computar.
Pesos = (activeParams × bits ÷ 8) × 1.15 de sobrecarga. Cachê KV por passo = activeParams × multiplicador × contextK.
Fatores de utilização por arquitetura
Esquerda: fator de decodificação — Direita: fator de leitura
Fontes de dados
Os TFLOPS e a largura de banda de memória são lidos do banco de dados de GPUs. Se ausentes, a largura de banda recorre a uma lista predefinida.
Limitações
Estas são estimativas analíticas, não resultados de testes reais. Use-as como uma comparação relativa, não como uma garantia absoluta de desempenho.