Melhor GPU para modelos LLM locais

Um modelo visão-linguagem denso de 27B cuja atenção linear híbrida mantém o cache KV minúsculo — roda um contexto de 128k+ numa única placa de 16-24 GB, com janela nativa de 262k expansível para 1M.

Um modelo Mixture-of-Experts de 284B com apenas 13B de parâmetros ativos e contexto de 1M de tokens. Os pesos exigem múltiplas GPUs ou offload de CPU, mas só 13B ativam por token, então a geração continua rápida.

O modelo Mixture-of-Experts de pesos abertos de 117B da OpenAI com 5,1B de parâmetros ativos. Seus pesos nativos MXFP4 cabem numa única GPU de 80-96 GB, e o baixo número de parâmetros ativos mantém a geração rápida.

Modelo denso de última geração com profunda compreensão de matemática, programação e engenharia.

Massivo codificador Mixture-of-Experts otimizado para configurações com VRAM alvo de 16GB a 24GB.

O principal MoE de alta densidade do Google, projetado para programação e raciocínio complexos.

Modelo denso leve e de alta velocidade, otimizado para configurações de consumo padrão.

Raciocínio de alto nível destilado em um modelo compacto de 14B. Sólido desempenho em STEM e programação em qualquer GPU de 12GB+.

Potência de raciocínio de tamanho médio para placas de 24GB. Iguala-se aos modelos de fronteira em matemática, programação e lógica.

Modelo denso e eficiente com amplo suporte multilingue e chamadas de função nativas. Cabe em placas de 16GB em Q4.

O carro-chefe MoE mais acessível da Meta: 17B de parâmetros ativos oferecem uma qualidade sólida em hardware de estação de trabalho.

Modelo denso de 7B versátil, criado para inferência local eficiente em GPUs de nível básico a intermediário.

Modelo de raciocínio de consumo da OpenAI, projetado para rodar sem compromisos em hardware local padrão.

Modelo NVIDIA de 4B ultracompacto que cabe confortavelmente em quase qualquer GPU moderna — ideal para configurações edge e portáteis.

Enorme Mixture-of-Experts de 80B com apenas 3B de parâmetros ativos — requer uma placa workstation de 48GB, mas gera tão rápido quanto um modelo pequeno.