AI-Hardware-Landschaft — andblack check

← andblack Check · Übersicht

Original-Infografik: „The AI Hardware Map — 2026“ von Brij Kishore Pandey (@codewithbrij) — was denkt, was rechnet und was die Daten in Bewegung hält.

Quelle: Instagram — codewithbrij ↗

Die Kernidee in einem Satz: KI ist kein GPU-Problem allein — moderne KI-Systeme sind eine Kombination aus sechs Hardware-Schichten, die zusammenarbeiten. Nicht „welcher Prozessor ist am mächtigsten?“, sondern „welche Kombination passt zu welcher Arbeitslast?“ ist die richtige Frage.

Warum das wichtig ist (Einordnung)

Wenn wir über KI-Hardware sprechen, denken die meisten nur an GPUs (wie Nvidia H100). Das ist nur die halbe Wahrheit. Ein KI-System wie ein Sprachmodell oder ein Agent macht weit mehr als nur Mathe: Es muss Texte in Zahlen zerlegen (Tokenisierung), auf Datenbanken zugreifen (Retrieval), Tools aufrufen, Ergebnisse prüfen und mit anderen Systemen sprechen. All das braucht verschiedene Spezialprozessoren, die gemeinsam arbeiten — wie ein Orchester, in dem jedes Instrument eine eigene Aufgabe hat.

Diese Landschaft wird umso wichtiger, je „agentischer“ KI wird: Wenn ein Agent ständig Tools aufruft und Daten bewegt, zählen CPU-Arbeit, Speicherbandbreite und Netzwerk genauso viel wie die reine Rechenleistung des Beschleunigers.

Die zwei großen Bereiche

Die Infografik teilt die Hardware in zwei Gruppen:

MODEL + APPLICATION COMPUTE — die eigentlichen „Denker“: CPU, GPU, Custom Silicon, NPU
THE SUPPORTING DATA PATH — die „Adern und Wege“, die Daten bewegen: DPU/SmartNIC, Memory + Interconnect

Die 6 Schichten im Detail

1 · COMPUTE

CPU — Host + Orchestration (der Dirigent)

Arbeit: Tool-Aufrufe (function calls) · Retrieval aus Vektor-DBs · Tokenisierung · Kontrollfluss · Vor-/Nachverarbeitung.

Stärke: flexible Logik, großer Speicher, ausgereiftes Ökosystem.

Grenze: geringer Tensor-Durchsatz (nicht fürs massive Mathe-Rechnen gebaut).

Agentic-Hinweis: Je mehr Tools ein Agent aufruft, desto mehr CPU-Arbeit entsteht.

Merkbild: Die CPU ist der Dirigent — sie koordiniert, was passiert, wartet nicht auf den Großen und Groben Mathe-Job, den überlässt sie den Spezialisten.

2 · COMPUTE

GPU — General AI Workhorse (der Kraftpaket-Mathematiker)

Arbeit: Training · Fine-Tuning · Batch- und Echtzeit-Inferenz.

Stärke: massiv paralleles Matrix-Rechnen, HBM-Speicher, ausgereifte Software.

Grenze: Kosten, Stromverbrauch, Verfügbarkeit.

Schlüsselvorteil: breiteste Modell- und Framework-Unterstützung (nahezu jedes LLM läuft auf GPUs).

Merkbild: Die GPU ist der Riese fürs Rechnen — sie zerlegt die KI-Mathe in Tausende parallele Mini-Rechnungen („matrix compute“) und löst sie gleichzeitig.

3 · COMPUTE

Custom AI Silicon — Purpose-Built at Scale (der Spezialwerkzeug-Bauer)

Beispiele: Google TPU · AWS Trainium / Inferentia · Microsoft Maia · Meta MTIA.

Arbeit: optimiertes Training oder Inferenz auf Flotten-Ebene (very viele Server gleichzeitig).

Stärke: beste Leistung pro Watt und pro Dollar.

Grenze: Abhängigkeit von Plattform und Compiler — nicht „einfach so“ universell einsetzbar.

Merkbild: Die großen Cloud-Anbieter bauen eigene KI-Chips, weil sie im riesigen Maßstab Geld und Strom sparen — aber nur für ihre eigene Cloud-Welt.

4 · COMPUTE

NPU — On-Device AI (der Sparsame im Gerät)

Beispiele: Apple Neural Engine · AMD XDNA · Intel AI Boost · Snapdragon Hexagon.

Arbeit: lokale Copiloten · Vision (Bilderkennung) · Audio · kleine Modelle direkt auf dem Gerät.

Stärke: geringer Stromverbrauch, Datenschutz, sofortige Antwort (kein Cloud-Roundtrip).

Grenze: Speicher- und Modellgrößen-Beschränkungen — große Modelle passen nicht.

Merkbild: Die NPU ist die Mini-KI im Smartphone/Laptop — macht kleine KI-Aufgaben lokal, privat und ohne Akku-Killer.

5 · DATA PATH

DPU / SmartNIC — Data Movement + Isolation (der Logistik- und Sicherheitsdienst)

Arbeit: Networking · Storage · Security · RDMA (schnelle direkte Speicher-Kommunikation).

Rolle: entlastet die CPUs und versorgt die Beschleuniger mit Daten.

Wichtig: Ersetzt keine GPU oder TPU für die Modell-Mathe.

Merkbild: Die DPU ist der Lagerist + Sicherheitsdienst — sie kümmert sich um Datenfluss und Isolierung im Rechenzentrum, damit CPU/GPU sich aufs Rechnen konzentrieren.

6 · DATA PATH

Memory + Interconnect — The New Bottleneck (die Datenautobahnen)

Enthält: HBM-Speicherstapel · KV-Cache · Chip-zu-Chip-Verbindungen · Ethernet-Fabrics (Netzwerk-Switches).

Rolle: bewegt Gewichte und Aktivierungen zwischen den Beschleunigern.

Wichtig: bestimmt oft den Durchsatz und die Skalierung des gesamten Clusters.

Merkbild: Egal wie schnell die Chips rechnen — wenn die Daten nicht schnell genug ankommen (Memory, Interconnect), wartet der Rechner. Deshalb heißt es „der neue Flaschenhals“.

Schnell-Auswahl (Quick Pick)

Aufgabe	Welche Hardware?
Agent-Tools + Retrieval (viele Tool-Aufrufe, Datenzugriff)	CPU
Training + breite Inferenz (das große Mathe-Rechnen)	GPU
Flotten-optimierte KI im großen Maßstab	Custom Silicon
Private, akkueffiziente lokale KI	NPU
Cluster-Netzwerk + Sicherheit	DPU / SmartNIC

Auswahl nach: Latenz · Durchsatz · Speicher · Leistung · Kosten · Ökosystem · Skalierung.

Praxisbezug für andblack

Diese Landschaft erklärt direkt unsere eigene Umgebung: Die lokale KI-Box (GPU-Beschleuniger, kI-Box) = Schicht GPU/Custom Silicon; Mac-M4 mit Apple Neural Engine = Schicht NPU (lokale kleine Modelle); Netzwerk/Storage im Homelab = Schicht DPU/Memory/Interconnect. Wer KI selbst betreibt, sollte alle sechs Ebenen kennen — nicht nur die GPU.

Selbsttest

Warum reicht eine GPU allein für ein KI-System nicht aus? (Tipp: Tokenisierung, Tool-Aufrufe, Datenfluss …)
Welche Hardware wählst du für private, akkueffiziente KI auf einem Laptop? (NPU)
Was macht eine DPU/SmartNIC, und was macht sie nicht? (Netzwerk/Storage/Security — aber keine Modell-Mathe)
Warum heißt es „Memory + Interconnect = der neue Flaschenhals“? (Bestimmt, wie schnell Daten zwischen Chips fließen → bestimmt Cluster-Durchsatz)