Lokale LLM Modelle im Vergleich: Was 2026 zählt

Die 7 Kriterien, die wirklich zählen

• Parameterzahl: bestimmt Qualität und Hardwarebedarf. Die neuen Spitzenmodelle sind MoE-Systeme mit einer Billion Parametern und damit Server-Klasse; für Arbeitsplatz-Hardware zählen kompakte Modelle von 7 bis 35 Mrd.
• Kontextfenster: wie viele Tokens das Modell pro Anfrage verarbeiten kann. 2026 sind 128k der Standard, die neue Spitze liegt bei 256k bis 1 Mio. Token.
• Quantisierung und VRAM-Bedarf: Q4 (GGUF) ist der lokale Standard, der Speicherbedarf sinkt auf etwa ein Drittel der Vollversion. Faustregel: 0,5 GB VRAM pro Milliarde Parameter, plus Reserve.
• Geschwindigkeit: Tokens pro Sekunde. Auf einer RTX 5090 schafft Llama 3.3 70B in Q4 rund 14 Tokens pro Sekunde, ein Mac Studio M4 Ultra liegt ähnlich, Dual-RTX-4090-Setups bei rund 22.
• Lizenz: Apache 2.0 erlaubt freie kommerzielle Nutzung; Open-Weight-Lizenzen erlauben sie teils mit Auflagen; Research-Lizenzen verbieten sie ohne Zusatzvertrag.
• Hardwarebedarf: Single-GPU-tauglich oder Multi-GPU-Pflicht. DeepSeek V4 (1,6T) und Kimi K2.6 (1T) sind nur auf Server-Hardware betreibbar, Qwen 3.6-27B passt auf eine 24-GB-Karte.
• Deutsch-Qualität: Mistral dokumentiert seine Modelle als nativ deutschsprachig, Qwen und Llama sind multilingual stark. Im deutschen Alltag trennt das die Kandidaten stärker als englische Benchmarks.

Die Vergleichstabelle 2026

Die Zahlen stammen aus den Modell-Dokumentationen auf Hugging Face und öffentlichen Benchmarks, Stand August 2026. Der VRAM-Bedarf gilt für Q4-Quantisierung inklusive Reserve für Kontext und Zwischenspeicher.

Lokal gegen Cloud: der ehrliche Vergleich

Der Befund von 2026: Bei Code, Reasoning, Extraktion und Klassifikation sind die besten offenen Modelle gleichauf oder vorn; bei Vision, sehr langen Kontexten und kreativem Schreiben bleiben die Cloud-Spitzenmodelle vorn. Viele Unternehmen fahren hybrid: lokal für Routine und sensible Daten, Cloud für Spitzenaufgaben.

So vergleichen Sie selbst: 4 Schritte

• Schritt 1: Hardware als Filter. Ermitteln Sie Ihren verfügbaren VRAM und streichen Sie alles, was nicht passt.
• Schritt 2: Lizenz prüfen. Nur Modelle mit belastbarer kommerzieller Lizenz kommen in die engere Wahl.
• Schritt 3: Eigene Testfragen stellen. Fünf bis zehn Aufgaben aus Ihrem Alltag trennen die Kandidaten besser als jeder Benchmark, gerade auf Deutsch.
• Schritt 4: Tempo und Kosten messen. Tokens pro Sekunde und Stromverbrauch gehören in die Rechnung, nicht nur die Qualität.

Was ein Vergleich über drei Jahre kostet

Ein Rechenbeispiel mit Marktpreisen von August 2026: Wer monatlich 50 Mio. Input- und 10 Mio. Output-Token über GPT-5.5 verarbeitet, zahlt bei 5 Dollar pro Mio. Input und 30 Dollar pro Mio. Output rund 550 Dollar im Monat, etwa 6.600 Dollar pro Jahr, ohne Preisvolatilität. Derselbe Bedarf auf einem Mac Studio M4 Max (einmalig ca. 4.500 bis 5.000 €, Strom ca. 400 € pro Jahr) amortisiert sich je nach Nutzung innerhalb von etwa einem Jahr, und die Daten bleiben im Haus. Bei DeepSeek-APIs (V4-Flash ab 0,14 Dollar pro Mio. Input) verschiebt sich die Rechnung Richtung Cloud, der Datenschutz bleibt aber das Argument für lokal.

Die häufigsten Vergleichsfehler

• Hersteller-Benchmarks als Wahrheit nehmen: Veröffentlichte Spitzenwerte sind oft nicht unabhängig verifiziert. Auf unabhängige Vergleichsübersichten und eigene Tests setzen.
• Veraltete Bestenlisten nutzen: Die Modellgeneration von April 2026 hat 2025er-Rankings überholt. Immer auf den Stand achten.
• Nur auf Qualität schauen: Ein Modell, das 14 Tokens pro Sekunde liefert, fühlt sich im Betrieb wie eine andere Welt an als eines mit 60.
• Lizenz übersehen: Das beste Modell nützt nichts, wenn die Lizenz den kommerziellen Betrieb verbietet.