TL;DR: Sparsity-aware Hardware könnte LLM-Inference um eine Größenordnung effizienter machen – ohne Performance-Verlust. Ein neuer IEEE-Spectrum-Deep-Dive mit Metas 2-Billionen-Parameter-Llama als Aufhänger zeigt, warum GPUs hier an ihre Grenzen stoßen.
Metas neuestes Llama-Modell – Llama 4 Behemoth – soll mit fast 2 Billionen Parametern an den Start gehen (davon ~288 Milliarden aktive Parameter, organisiert als Mixture-of-Experts). Das Modell befindet sich noch im Training und ist noch nicht öffentlich verfügbar – und damit wächst nicht nur die Leistung, sondern auch der Energieverbrauch und die Inference-Latenz ins Unkalkulierbare. Was viele bisher übersehen: Große Teile dieser Parameter sind schlicht null – oder so nah dran, dass sie ohne Genauigkeitsverlust als null behandelt werden könnten. Diese Eigenschaft heißt Sparsity, und sie ist der Schlüssel zur nächsten Effizienz-Revolution in der KI-Hardware.
Forschende der Stanford University haben mit Onyx den ersten programmierbaren Accelerator entwickelt, der sowohl sparse als auch dense Workloads nativ unterstützt. Gegenüber einem 12-Core Intel Xeon CPU mit spezialisierten Sparse-Libraries erreicht Onyx im Durchschnitt eine 70-fach geringere Energieaufnahme bei 8-fach höherer Rechengeschwindigkeit – gemessen am Energy-Delay-Product. Das ist kein Nischenresultat: Cerebras hat gezeigt, dass sich bis zu 70–80 % der Gewichte in einem LLM wie Llama 7B auf null setzen lassen, ohne Accuracy-Einbußen.
Was ist neu?
Aktuelle GPUs unterstützen Sparsity nur in einer eingeschränkten Form – sogenannte strukturierte Sparsity, bei der genau zwei von vier benachbarten Parametern null sein müssen. Onyx hingegen verarbeitet unstrukturierte Sparsity: Jeder beliebige Parameter kann null sein, und die Hardware überspringt die zugehörigen Berechnungen automatisch, ohne Overhead. Das ist entscheidend, weil viele reale Modelle von unstrukturierter Sparsity profitieren – von Social-Graph-Daten bis hin zu Recommendation-Modellen. Cerebras’ Wafer Scale Engine geht in eine ähnliche Richtung, unterstützt aber bislang nur Weight-Sparsity, nicht Activation-Sparsity. Metas MTIA v2 meldet einen 7-fachen Sparse-Performance-Gewinn, beschränkt sich aber öffentlich auf Matrix-Multiplikation.
Was bedeutet das für KI-Praktiker und Automatisierer?
Konkret: Wer heute LLM-basierte Workflows plant – ob mit Claude, n8n, Make oder eigenem Hosting – zahlt erhebliche Inference-Kosten, die direkt mit Modellgröße und GPU-Stunden skalieren. Sparsity-aware Hardware wie Onyx legt nahe, dass in 3–5 Jahren deutlich größere Modelle zu einem Bruchteil der heutigen Kosten laufen könnten. Die Architekturentscheidungen von heute (welches Modell, welche Infrastruktur, cloud vs. on-prem) werden durch solche Hardware-Shifts direkt beeinflusst. Noch ist Onyx ein Forschungschip aus Stanford – der Weg in Production-Hardware ist weit. Aber die Richtung ist klar: Die nächste Welle an Effizienzgewinnen kommt nicht vom Prompt-Engineering, sondern vom Silicon.
Quellen & Weiterführende Links
- 📰 Original-Artikel: Sparse AI Hardware Slashes Energy and Latency – IEEE Spectrum, Olivia Hsu & Kalhan Koul, 28. April 2026
- 📚 Onyx Accelerator Paper (IEEE Xplore)
- 📚 NVIDIA: Sparsity in AI Inference erklärt
- 🎓 Workshops & Kurse (verifiziert via API):
- 💡 Passende Kurse zu diesem Thema befinden sich aktuell in Planung – informiere dich auf workshops.de über neue Angebote.