Saltar al contenido

Mejor GPU para modelos LLM locales

Ejecutar LLM de forma local requiere emparejar los presupuestos de VRAM con los niveles de cuantización y los tamaños de contexto. Utiliza nuestra calculadora en vivo a continuación para estimar el uso de memoria y explorar las guías específicas de cada modelo.

Ver guías de modelos LLM

Alibaba Qwen

QWEN-3.6-CODER-27B

dense

Modelo denso de última generación con profunda comprensión de matemáticas, programación e ingeniería.

Parámetros
27B
Activos
27B
Contexto máx.
32k
Ver detalles de modelo y GPU
Alibaba Qwen

QWEN-3.6-35B-A3B

moe

Masivo codificador Mixture-of-Experts optimizado para configuraciones con un objetivo de VRAM de 16GB a 24GB.

Parámetros
35B
Activos
3B
Contexto máx.
32k
Ver detalles de modelo y GPU
Google

GEMMA-4-26B-A4B

moe

El modelo MoE de alta densidad de Google diseñado para programación y razonamiento complejos.

Parámetros
26B
Activos
4B
Contexto máx.
64k
Ver detalles de modelo y GPU
Google

GEMMA-4-12B

dense

Modelo denso ligero y de alta velocidad, optimizado para configuraciones de consumo estándar.

Parámetros
12B
Activos
12B
Contexto máx.
64k
Ver detalles de modelo y GPU
DeepSeek

DEEPSEEK-R1-DISTILL-14B

dense

Razonamiento de primer nivel destilado en un modelo compacto de 14B. Sólido rendimiento en STEM y programación en cualquier GPU de 12GB+.

Parámetros
14B
Activos
14B
Contexto máx.
32k
Ver detalles de modelo y GPU
DeepSeek

DEEPSEEK-R1-DISTILL-32B

dense

Potencia de razonamiento de tamaño medio para tarjetas de 24GB. Igual al nivel de los modelos de frontera en matemáticas, programación y lógica.

Parámetros
32B
Activos
32B
Contexto máx.
32k
Ver detalles de modelo y GPU
Mistral AI

MISTRAL-SMALL-3.1-24B

dense

Modelo denso y eficiente con soporte multilingüe amplio y llamadas a funciones nativas. Cabe en tarjetas de 16GB en Q4.

Parámetros
24B
Activos
24B
Contexto máx.
128k
Ver detalles de modelo y GPU
Meta

LLAMA-4-SCOUT-109B-A17B

moe

El buque insignia MoE más accesible de Meta: 17B de parámetros activos ofrecen una sólida calidad en hardware de estación de trabajo.

Parámetros
109B
Activos
17B
Contexto máx.
64k
Ver detalles de modelo y GPU
OpenAI

GPT-OSS-20B

dense

Modelo de razonamiento de consumo de OpenAI, diseñado para ejecutarse sin compromisos en hardware local estándar.

Parámetros
20B
Activos
20B
Contexto máx.
32k
Ver detalles de modelo y GPU

GPUs para configuración de modelo personalizada

27B
3B14B27B35B70B+
32k tokens
8k32k64k96k128k

Estimación de memoria

VRAM19 GB
Pesos: 15.5GB
KV: 3.5GB

Preguntas frecuentes

Preguntas comunes sobre la elección de una GPU para la inferencia de LLM locales.