Passer au contenu

Meilleur GPU pour DEEPSEEK-R1-DISTILL-14B en local

Prix en temps réel et recommandations matérielles mises à jour pour juillet 2026.

14B
14B
dense

Ajuster la longueur du contexte

Glissez vers les tailles courantes ou saisissez une valeur manuellement.

k tokens
8k
16k
32k
64k
128k
256k
Entrée de gammeQ3_K_M quant
6 GB
1.8 GB
VRAM totale :7.8 GB

Matériel recommandé

GeForce RTX 50608Go de VRAM
493 tok/sprefill
21 tok/sgénération
Arc B58012Go de VRAM
438 tok/sprefill
18 tok/sgénération

Fits on entry-level 8GB cards for basic usage. Context and token speed will be constrained but functional.

Équilibre parfaitQ4_K_M quant
8 GB
1.8 GB
VRAM totale :9.8 GB

Matériel recommandé

Arc B58012Go de VRAM
438 tok/sprefill
15 tok/sgénération
GeForce RTX 407012Go de VRAM
484 tok/sprefill
16 tok/sgénération

Runs smoothly on 12GB–16GB cards with good context headroom. The ideal price-to-performance tier.

Quasi sans perteQ8_0 quant
16.1 GB
1.8 GB
VRAM totale :17.9 GB

Matériel recommandé

GeForce RTX 309024Go de VRAM
711 tok/sprefill
13 tok/sgénération
GeForce RTX 409024Go de VRAM
968 tok/sprefill
19 tok/sgénération

Near-lossless precision. Weights alone need ~16GB, so 24GB cards give breathing room for context.

Configuration optimale pour DEEPSEEK-R1-DISTILL-14B

Recommandations de quantification

Pour le codage et le raisonnement au quotidien, la Q4_K_M (quantification 4 bits) offre le meilleur équilibre entre qualité et efficacité mémoire — elle réduit les besoins en mémoire de plus de 70 % avec une perte de qualité minimale par rapport au FP16. Les préréglages Q8 et supérieurs préservent davantage de fidélité au prix d'une utilisation VRAM nettement plus élevée, ce qui peut forcer le déchargement des couches et nuire au débit.

Logiciel local recommandé

Nous recommandons Ollama comme exécuteur principal pour l'inférence locale grâce à son découpage automatique des modèles GPU et ses optimisations du cache de contexte. Pour les réglages avancés ou les fractionnements de quantification, llama.cpp avec Flash Attention compilé nativement offre le meilleur contrôle granulaire.

Comment les vitesses de tokens sont estimées

Deux métriques sont affichées par GPU : Lecture tok/s (la vitesse à laquelle le modèle ingère votre prompt) et Décodage tok/s (la vitesse à laquelle il renvoie les tokens). Elles modélisent des goulots d'étranglement fondamentalement différents.

📖

Lecture (Prefill)

Le prompt est traité en un seul passage parallèle. Il est limitée par le calcul : il sature les tensor cores du GPU.

lecture tok/s ≈ TFLOPS × readFactor × 400 ÷ activeParams

Décodage (Génération)

Chaque nouveau token nécessite de charger l'intégralité des poids actifs du modèle depuis la VRAM. Ce processus est limitée par la bande passante mémoire : le GPU attend les données, il ne calcule pas.

décodage tok/s ≈ bande passante × decodeFactor ÷ (poids + kv_cache)

Poids = (activeParams × bits ÷ 8) × 1,15 de surcharge. Cache KV par étape = activeParams × multiplicateur × contextK.

Facteurs d'utilisation par architecture

Architecture
Decode
Read
Blackwell, Xe2
0.45
0.55
Ada Lovelace, RDNA 4, Battlemage
0.38
0.48
Ampere, Turing, RDNA 3, Xe-HPG
0.28
0.38
Volta, RDNA 1/2
0.2
0.25
Pré-tensor-core (Pascal, Maxwell, Kepler, GCN, Alchemist)
0.12
0.15

Gauche : facteur de décodage — Droite : facteur de lecture

Sources des données

Les TFLOPS et la bande passante mémoire proviennent de la base de données GPU. En leur absence, la bande passante se rabat sur un dictionnaire codé en dur.

Limites

Il s'agit d'estimations analytiques, pas de résultats de benchmarks. Utilisez-les comme une comparaison relative, pas comme une garantie de performance absolue.