Question 1

Wie viel VRAM brauche ich tatsächlich für ein lokales LLM im Jahr 2026?

Accepted Answer

Das hängt von der Modellgröße und der Quantisierung ab. Ein 12B-Modell bei Q4 passt in etwa 7–8 GB, sodass eine 12GB-Karte ausreicht. Für 26–27B-Modelle benötigst du 14–18 GB – eine 16GB-Karte ist der Sweet Spot. Größere 70B+-Modelle erfordern 40–80 GB, was Multi-GPU-Setups oder High-End-Workstation-Karten voraussetzt.

Question 2

Was ist CPU-Offloading und warum ist es langsam?

Accepted Answer

Beim CPU-Offloading werden Schichten, die nicht in den VRAM passen, in den Hauptspeicher (System-RAM) verschoben. Die Bandbreite des System-RAMs liegt bei 40–80 GB/s – etwa 10- bis 20-mal langsamer als der GPU-Speicher. Für eine flüssige Generierung sollte das gesamte quantisierte Modell im VRAM liegen.

Question 3

Was bedeutet Q4_K_M- oder Q8_0-Quantisierung?

Accepted Answer

Die Quantisierung reduziert die einzelnen Modellgewichte von 16-Bit auf weniger Bits, um Speicher zu sparen. Q4_K_M nutzt etwa 4 Bit pro Gewicht – das halbiert den VRAM-Bedarf im Vergleich zu FP16 bei minimalem Qualitätsverlust. Q8_0 verwendet 8 Bit, was eine nahezu verlustfreie Qualität bietet, aber etwa doppelt so viel VRAM benötigt.

Question 4

Was ist ein MoE-Modell und warum läuft es schneller, als seine Größe vermuten lässt?

Accepted Answer

Mixture-of-Experts (MoE) Modelle haben eine hohe Gesamtanzahl an Parametern, aktivieren aber pro Token nur eine kleine Teilmenge. Das bedeutet, dass Rechenaufwand und KV-Cache mit der Anzahl der aktiven Parameter skalieren, nicht mit der Gesamtzahl – somit kann ein 26B-MoE-Modell auf geeigneter Hardware schneller laufen als ein dichtes 7B-Modell.

Question 5

Sollte ich eine GeForce-Consumer-Karte oder eine Workstation-Karte wählen?

Accepted Answer

Consumer-Karten bieten das beste Preis-Leistungs-Verhältnis pro GB VRAM in Gaming-Größen (8–24 GB). Workstation-Karten bieten eine höhere VRAM-Kapazität (32–96 GB) und ECC-Speicher zu einem deutlichen Preisaufschlag. Wähle Consumer, wenn das Modell in 24 GB passt; nimm Workstation, wenn du 32 GB+ brauchst.

Question 6

Kann ich ein lokales LLM auf einer AMD-GPU ausführen?

Accepted Answer

Ja. ROCm unterstützt llama.cpp und Ollama unter Linux und zunehmend auch unter Windows. Die Radeon RX 7900 XTX (24 GB) und Radeon PRO W7900 (48 GB) sind gute Optionen. Die Leistung ist bei Inferenz-Workloads mit entsprechenden NVIDIA-Karten vergleichbar.

Question 7

Kann ich ein lokales LLM auf einer Intel Arc-GPU ausführen?

Accepted Answer

Ja. Intel Arc-GPUs (wie die A770 16GB) können lokale LLMs mithilfe von Intels IPEX (Intel Extension for PyTorch) oder OpenVINO-Backend ausführen, was von llama.cpp und Ollama unterstützt wird. Die A770 16GB ist eine der günstigsten Optionen für 16 GB VRAM auf dem Markt und bietet eine solide Budget-Leistung, auch wenn die Einrichtung etwas aufwändiger sein kann als mit NVIDIA CUDA.

Beste GPU für lokale LLM-Modelle

LLM-Modell-Ratgeber durchsuchen

QWEN-3.6-CODER-27B

QWEN-3.6-35B-A3B

GEMMA-4-26B-A4B

GEMMA-4-12B

DEEPSEEK-R1-DISTILL-14B

DEEPSEEK-R1-DISTILL-32B

MISTRAL-SMALL-3.1-24B

LLAMA-4-SCOUT-109B-A17B

GPT-OSS-20B

GPUs für benutzerdefinierte Modellkonfiguration

Geschätzter Speicherbedarf

Kompatible GPUs

Häufig gestellte Fragen