Beste GPU für GPT-OSS-20B lokal
Echtzeit-Preise und Hardware-Empfehlungen aktualisiert für Juli 2026.
Kontextlänge anpassen
Wähle eine gängige Größe oder gib manuell einen Wert ein.
Empfohlene Hardware
Q3 weights (~8.6GB) plus 32k KV cache reach ~11GB. 12GB cards cover the full context window with headroom.
Empfohlene Hardware
Q4 weights (~11.5GB) plus 32k KV cache reach ~14GB. 16GB cards are the ideal mainstream setup.
Empfohlene Hardware
Q8 weights (~23GB) plus 32k KV cache exceed 24GB. 32GB+ cards deliver near-lossless precision without VRAM constraint.
Setup-Optimierung für GPT-OSS-20B
Quantisierungs-Empfehlungen
Für tägliche Coding- und Reasoning-Aufgaben bietet Q4_K_M (4-Bit-Quantisierung) die beste Balance aus Qualität und Speichereffizienz – es reduziert den Speicherbedarf um über 70 % bei minimalem Qualitätsverlust im Vergleich zu FP16. Q8 und höhere Voreinstellungen bewahren mehr Details auf Kosten eines deutlich höheren VRAM-Bedarfs, was das Auslagern von Schichten erzwingen und den Durchsatz verringern kann.
Empfohlene lokale Software
Wir empfehlen Ollama als primären Runner für die lokale Inferenz aufgrund der automatischen GPU-Modellaufteilung und der Optimierung des Kontext-Caches. Für fortgeschrittenes Fine-Tuning oder Quantisierungsaufteilungen bietet das nativ kompilierte llama.cpp mit Flash Attention die beste granulare Kontrolle.
▸Wie Token-Geschwindigkeiten geschätzt werden
Wie wir den GPU-Wertungs-Score berechnen und Marktdaten normalisieren.
Read (Prefill)
Der Prompt wird in einem einzigen parallelen Durchgang verarbeitet. Dies ist rechenleistungsbegrenzt (compute-bound): Es lastet die Tensor-Kerne der GPU aus.
Decode (Generierung)
Jedes neue Token erfordert das Laden aller aktiven Modellgewichte aus dem VRAM. Dies ist speicherbandbreitenbegrenzt (memory-bandwidth-bound): Die GPU wartet auf Daten, anstatt zu rechnen.
Gewichte = (activeParams × Bits ÷ 8) × 1,15 Overhead. KV-Cache pro Schritt = activeParams × Multiplikator × contextK.
Architektur-Nutzungsfaktoren
Links: Decode-Faktor — Rechts: Read-Faktor
Datenquellen
TFLOPS und Speicherbandbreite werden aus der GPU-Datenbank ausgelesen. Falls nicht vorhanden, fällt die Bandbreite auf ein hartcodiertes Wörterbuch zurück.
Einschränkungen
Dies sind analytische Schätzungen, keine tatsächlichen Benchmark-Ergebnisse. Verwende sie als relativen Vergleich, nicht als absolute Leistungsgarantie.