Lokale KI: Das ist der aktuelle Stand

Zusammenfassung

Das Video gibt einen Überblick über den aktuellen Stand lokaler KI: Welche Modelle auf eigener Hardware sinnvoll laufen, worauf es bei Speicher und Quantisierung ankommt und welche Programme sich für den Betrieb und die Arbeit mit KI-Agenten eignen.

Modelle und Leistungsfähigkeit

• Als besonders relevante lokale Modelle für Coding und Computersteuerung nennt der Host Qwen 3.8-27B und Qwen 3.8-Flash-Next. Google Gemma 4 wird als sprachlich stark, aber für bestimmte Aufgaben weniger vielseitig eingeschätzt.
• Lokale Modelle lägen derzeit ungefähr sechs Monate hinter den führenden Cloud-Modellen. Der Host hebt hervor, dass Qwen 3.8-27B in einigen Benchmarks mit einem früheren Spitzenmodell mithalten oder es übertreffen soll. Solche Vergleiche seien aber keine Garantie für gleich gute Ergebnisse bei jeder Aufgabe.
• Als praktischen Vergleich ließ der Host verschiedene Modelle eine interaktive 3D-Giraffe mit Three.js programmieren. Das Beispiel zeigt deutliche Unterschiede: Das größere Qwen-Modell lieferte ein brauchbares Ergebnis, während ein älteres Modell nur eine grobe Form erzeugte. Auch leistungsfähige Modelle können jedoch Fehler machen oder bei einer Aufgabe scheitern.

Speicher, Quantisierung und Geschwindigkeit

• Quantisierung reduziert die Genauigkeit der Modellgewichte, damit sie weniger Speicher benötigen. Laut Host bleibt die Qualität bei 4 Bit oft noch nahe am Original; bei 3, 2 oder 1 Bit kann sie stärker abfallen.
• Die verbreitete Qwen-3.8-27B-Variante UD_Q4_K_M benötigt allein für die Gewichte etwa 15,3 GB schnellen Speicher. Für Coding-Agenten sind darüber hinaus ausreichend Kontext und gegebenenfalls Bildverarbeitung wichtig.
• Schneller Videospeicher ist entscheidend: Im gezeigten Vergleich war die Ausführung im normalen DDR5-RAM deutlich langsamer als auf der RTX 4090. Der Host betont außerdem zwei unterschiedliche Leistungsaspekte: Token-Ausgabe hängt stark von der Speicherbandbreite ab; Prompt-Verarbeitung profitiert stärker von Rechenleistung.
• Für eine Grafikkarte mit 16 GB empfiehlt der Host eine kleinere Quantisierung, etwa UD_Q3_K_XL, wenn viel Kontext benötigt wird. Das senkt die Qualität etwas, kann aber den Speicherbedarf reduzieren.

Getestete Hardware

Die Benchmarks wurden mit Qwen 3.8-27B und llama-bench durchgeführt. Der Host weist darauf hin, dass Ergebnisse je nach Runtime-Version und Einstellungen variieren können.

• Nvidia RTX 4090: Schnellste getestete Grafikkarte bei der Token-Ausgabe, mit 51,1 Tokens pro Sekunde.
• AMD Radeon RX 9070 XT (16 GB): Erreichte 34,4 Tokens pro Sekunde im Test. Bei der verwendeten Quantisierung blieb jedoch kaum Speicher für weitere Aufgaben; der Host konnte damit nur rund 8K Kontext nutzen und keine Bildverarbeitung einsetzen. Für anspruchsvolle Coding-Agenten sei das daher wenig praktikabel.
• Intel Arc Pro B70 (32 GB): Bietet mehr Videospeicher und lief im Test mit ComfyUI auch für Bild- und Videogenerierung. Bei Qwen 3.8-27B war sie ungefähr halb so schnell wie RTX 4090 und Mac Studio. Der Host bemängelt außerdem deutlich hörbares Spulenfiepen.
• Mac Studio M5 Ultra (256 GB): Bei der Token-Ausgabe ungefähr auf dem Niveau der RTX 4090. Im Video wird die Prompt-Verarbeitung als langsamer als bei der 4090 beschrieben.
• Mac Mini M5 Pro (48 GB gemeinsamer Speicher): Wird als interessante, aber teure Option genannt. Der Host hält 48 GB bei Systemen mit gemeinsam genutztem Speicher für sinnvoll, weil Betriebssystem und Programme ebenfalls Speicher benötigen.
• AMD Ryzen AI Max+ 395 / Strix Halo: Kann mit bis zu 128 GB gemeinsamem Speicher ausgestattet werden. Die normale Token-Ausgabe war im Test vergleichsweise langsam; mit speculative decoding stieg die Geschwindigkeit bei Code laut Host jedoch stark an – auf über 40 Tokens pro Sekunde und bei der Wiedergabe von Code aus dem Kontext auf über 100.

Runtimes, Installationshilfe und Agenten

• llama.cpp wird als vielseitige Runtime vorgestellt, die viele Modelle und Hardwaretypen unterstützt und auch von Tools wie Ollama und LM Studio verwendet wird.
• Für die Einrichtung empfiehlt der Host, einen Coding-Agenten die Installation übernehmen zu lassen. Er nennt dafür unter anderem Claude Code oder OpenAI Codex und zeigt beispielhaft eine Anweisung zur Installation von Qwen mit Bildverarbeitung, speculative decoding und großem Kontext.
• Als spezialisierte Runtime wird Strata vorgestellt. Sie ist vor allem auf Qwen 3.8-Flash-Next ausgerichtet und kann bei MoE-Modellen inaktive Experten in den normalen RAM oder auf SSD auslagern. Mit 3-Bit-Quantisierung erreichte Flash-Next auf der RTX 4090 laut Host über 100 Tokens pro Sekunde.
• Der Host sieht einen möglichen Zielkonflikt zwischen den Modellen: Flash-Next kann mehr Wissen enthalten, blieb bei seinen Coding-Tests aber weniger zuverlässig und geriet mitunter in Schleifen. Qwen 3.8-27B habe die Giraffen-Aufgabe konsistenter erledigt.

Coding-Agenten und Betriebssysteme

• Coding-Agenten – auch „Harnesses“ genannt – können Dateien anlegen, Code ausführen, Logs untersuchen und Programme bedienen. Der Host nutzt sie unter anderem zur Installation, für Benchmarks und zur Fehlersuche.
• Genannt werden Pi und OpenCode als Open-Source-Optionen sowie Claude Code und Codex als kommerzielle Werkzeuge. Pi sei in den Tests des Hosts sparsamer mit Tokens; OpenCode biete mehr Funktionen.
• Agenten erhalten oft Zugriff auf das Dateisystem. Der Host empfiehlt deshalb, ihre Aktionen zu überwachen und bei Bedarf einzelne Schritte manuell freizugeben. Er weist auch auf Risiken durch Fehler und Prompt-Injections hin.
• Für Nicht-Apple-Systeme empfiehlt der Host Linux, vor allem wegen schnellerer Runtimes und der guten Eignung für terminalbasierte Agenten. Die Ergebnisse unterscheiden sich jedoch nach Hardware: Bei der Intel-Grafikkarte war Windows im Test etwas schneller; bei AMD war Linux in mehreren Bereichen im Vorteil.

Ein kurzer zusätzlicher Abschnitt stellt das Makey-Lab vor: ein ESP32-Lernboard mit Sensoren, Display und weiteren Komponenten samt Arbeitsbuch und blockbasierter Programmierung.

Hauptsprecher und Quellen

• Jan-Keno Janssen – Host und Tester des c’t-3003-Beitrags.
• c’t 3003 – Kanal und redaktionelle Quelle der Hardware- und Softwaretests.
• Thomas-Krenn – Sponsor des im Video enthaltenen OPNsense-Werbeabschnitts.