Mejor GPU para modelos LLM locales

Un modelo visión-lenguaje denso de 27B cuya atención lineal híbrida mantiene minúscula la caché KV: ejecuta un contexto de 128k+ en una sola tarjeta de 16-24 GB, con ventana nativa de 262k ampliable a 1M.

Un modelo Mixture-of-Experts de 284B con solo 13B de parámetros activos y un contexto de 1M de tokens. Sus pesos requieren varias GPU o descarga a CPU, pero solo se activan 13B por token, así que la generación sigue siendo rápida.

El modelo Mixture-of-Experts de pesos abiertos de 117B de OpenAI con 5,1B de parámetros activos. Sus pesos nativos MXFP4 caben en una sola GPU de 80-96 GB, y el bajo número de parámetros activos mantiene rápida la generación.

Modelo denso de última generación con profunda comprensión de matemáticas, programación e ingeniería.

Masivo codificador Mixture-of-Experts optimizado para configuraciones con un objetivo de VRAM de 16GB a 24GB.

El modelo MoE de alta densidad de Google diseñado para programación y razonamiento complejos.

Modelo denso ligero y de alta velocidad, optimizado para configuraciones de consumo estándar.

Razonamiento de primer nivel destilado en un modelo compacto de 14B. Sólido rendimiento en STEM y programación en cualquier GPU de 12GB+.

Potencia de razonamiento de tamaño medio para tarjetas de 24GB. Igual al nivel de los modelos de frontera en matemáticas, programación y lógica.

Modelo denso y eficiente con soporte multilingüe amplio y llamadas a funciones nativas. Cabe en tarjetas de 16GB en Q4.

El buque insignia MoE más accesible de Meta: 17B de parámetros activos ofrecen una sólida calidad en hardware de estación de trabajo.

Modelo denso de 7B versátil, diseñado para una inferencia local eficiente en GPUs de gama de entrada a media.

Modelo de razonamiento de consumo de OpenAI, diseñado para ejecutarse sin compromisos en hardware local estándar.

Modelo NVIDIA de 4B ultracompacto que cabe cómodamente en casi cualquier GPU moderna: ideal para configuraciones edge y portátiles.

Enorme Mixture-of-Experts de 80B con solo 3B de parámetros activos — requiere una tarjeta de estación de trabajo de 48GB, pero genera tan rápido como un modelo pequeño.