Basics: Was ist ein LLM?
Ein LLM (Large Language Model = großes Sprachmodell) ist ein KI-Modell, das Sprache versteht und erzeugt. Anders als ein normales Programm lernt es aus riesigen Textmengen, welches Wort wahrscheinlich als Nächstes kommt. Technisch beruht es auf der Transformer-Architektur. Ein zentraler Punkt: Das Modell „denkt“ nicht im herkömmlichen Sinn — es sagt immer das wahrscheinlichste nächste Wort voraus. Kreativität und Flüssigkeit entstehen aus dieser simplen Kette.
Teil 1 · Training (offline)
So entsteht ein Modell von Grund auf — in 11 Schritten:
Rohdaten (Webtext, Bücher, Code, Artikel) werden bereinigt, gefiltert und entdoppelt → Trainings-Dataset.
Text wird in kleine Einheiten (Token) zerlegt: „LLMs are powerful“ → [LLMs] [are] [power] [ful] → dann in numerische Token-IDs ([1234, 56, 782, 913]).
Token-IDs werden in Vektoren (Token-Embeddings) gewandelt und mit Positions-Infos (z. B. RoPE) kombiniert → Input-Representation.
Kernstück: N-fach wiederholte Transformer-Blöcke aus Self-Attention + Feed-Forward-Netz, jeweils mit „Add & Norm“ (Residual + Layer-Normalization).
Berechnet Beziehung der Token zueinander: Query (Q) × Key (K) → Attention-Scores, Causal Mask (nur Vergangenheit sehen), Softmax-Normalisierung, gewichtet mit Values (V).
Zweiter Block-Teil: lineare Schichten + Aktivierungsfunktion (GELU).
Der autoregressive Kern: Bei „The cat sat on the…“ sagt das Modell das nächste Token („mat“) voraus.
Trainingsloop: vorhersagen → Loss (Cross-Entropy) → Backpropagation → Gewichte aktualisieren. Milliardenfach wiederholen → Base Model.
Feinabstimmung mit Anweisungs-Antwort-Paaren (Supervised Fine-Tuning), damit das Modell Anweisungen befolgt.
Ausrichten für Sicherheit/Hilfsbereitschaft via RLHF (Reinforcement Learning with Human Feedback) oder DPO.
Ergebnis: ein allgemeines, instruktionsbasiertes Sprachmodell.
Teil 2 · Inference (online)
Beim Benutzen läuft derselbe Ablauf in Echtzeit:
User fragt z. B. „Explain quantum computing…“ → wird in Token-IDs und Input-Embeddings gewandelt.
Input durchläuft die trainierten Blöcke → Hidden States.
Linear-Schicht + Softmax erzeugen Wahrscheinlichkeiten für das nächste Token.
Strategien wählen das Token: Greedy Search, Top-K, Top-P, Temperature, Beam Search.
Token werden erzeugt, an den Kontext angehängt, wiederholt bis Stopp-Signal (EOS) → Detokenization → Antwort an den User.
Teil 3 · Deployment & Observability
Das trainierte Modell wird über Software wie vLLM oder TGI bereitgestellt; ein API-Gateway leitet Anfragen weiter; Auto-Scaling + Monitoring sorgen für Stabilität; Speicherung als Model-Artifact, meist via Docker/Kubernetes.
Laufende Metriken: Request-Tracing, Token-Verbrauch, Latenz, Antwort-Qualität, Sicherheits-Checks, Fehler — als Logs, Metriken & Alerts.
Selbsttest
- Was ist die elementare Lernaufgabe eines LLM beim Pre-Training? (Next-Token Prediction — das nächste Wort vorhersagen)
- Worin unterscheiden sich Training und Inference? (Training = offline Gewichte lernen; Inference = online Antworten erzeugen)
- Was macht der Causal Mask im Self-Attention? (Stellt sicher, dass das Modell nur vergangene Token sieht)
- Wozu dient RLHF? (Alignment — Modell an Menschen-Präferenzen ausrichten, sicherer/hilfreicher machen)
- Wie erzeugt das Modell trotz „nur nächste-Wort-Vorhersage“ flüssige Antworten? (Indem es generierte Token wieder in den Kontext einfügt und Wort für Wort wiederholt, bis ein Stopp-Signal kommt)