Ein Sprachmodell schreibt nicht Satz für Satz aus einem inneren Lexikon ab. Es erhält Text als Zahlenfolge und berechnet für den nächsten kleinen Baustein eine Verteilung. Danach beginnt dieselbe Aufgabe erneut – nun mit dem gerade gewählten Baustein im Kontext. Aus dieser lokalen Schleife entsteht überraschend globale Form.
Wörter werden nicht als Wörter gesehen
Tokenizer zerlegen Text in Tokens: häufige Wörter können ein Token sein, seltene Namen mehrere, Satzzeichen eigene Einheiten. Jedes Token wird als Vektor repräsentiert. Position und Kontext verändern, welche Beziehungen im nächsten Rechenschritt wichtig werden.
Der Transformer führte eine Architektur ein, die solche Beziehungen wesentlich über Attention statt ausschließlich über rekurrente Schritte verarbeitet. [1] Attention ist dabei keine menschliche Aufmerksamkeit, sondern eine gelernte Gewichtung von Informationen.
Das Trainingssignal ist unspektakulär
- Nimm eine Textsequenz aus Trainingsdaten.
- Verdecke in der autoregressiven Aufgabe die zukünftigen Tokens.
- Berechne eine Verteilung für das tatsächlich folgende Token.
- Miss den Fehler zwischen Vorhersage und beobachtetem Token.
- Passe Parameter über viele Beispiele so an, dass dieser Fehler sinkt.
Warum Vorhersage Struktur lernt
Um Text gut fortzusetzen, muss ein Modell statistische Regelmäßigkeiten von Syntax, Stil, Faktenbeziehungen, Argumentformen und Code aufnehmen. Googles Erklärung von Sprachmodellierung beschreibt die Aufgabe als Vorhersage von Tokens aus Kontext. [2] Das Ziel verlangt kein explizites Weltmodell, kann aber interne Repräsentationen erzeugen, die sich wie eins nutzen lassen.
Die GPT-3-Arbeit zeigte, dass Skalierung kontextgesteuerte Aufgabenleistung ohne aufgabenspezifisches Nachtraining ermöglichen kann. [3] Das ist bemerkenswert, aber kein Beweis für menschliches Verständnis. Verhalten und Mechanismus müssen getrennt beschrieben werden.
Vom Logit zum Satz
| Regler | Wirkung | Risiko |
|---|---|---|
| Temperatur | flacht oder schärft die Verteilung | zu hoch: sprunghaft; zu niedrig: starr |
| Top-p | beschränkt Auswahl auf kumulativ wahrscheinliche Tokens | kann seltene gute Optionen abschneiden |
| System-/Nutzerkontext | verschiebt relevante Fortsetzungen | widersprüchliche Anweisungen |
| Werkzeugergebnis | liefert externe aktuelle Daten | falsche Auswahl oder Fehlinterpretation |
| Stoppbedingung | beendet die Wiederholung | zu frühes oder endloses Ausgeben |
Flüssigkeit ist kein Quellenbeleg
Das Modell optimiert eine plausible Fortsetzung, nicht die Wahrheit jedes Satzes. Wahrscheinliche Sprachmuster können falsche Namen, Zitate oder Kausalitäten zusammensetzen. NIST führt Konfabulation beziehungsweise Halluzination als Risiko und fordert kontextabhängige Messung. [4]
Recherchefähige Systeme können dieses Problem reduzieren, wenn sie Quellen abrufen und Aussagen darauf zurückführen. Sie beseitigen es nicht: Quelle, Passage, Schlussfolgerung und Aktualität müssen weiterhin geprüft werden.
Die richtige Nerd-Metapher
Ein LLM ist weder stochastischer Papagei im Sinn reiner Kopie noch allwissende Datenbank. Nützlicher ist ein komprimiertes, generatives Modell sprachlicher Abhängigkeiten, das im Betrieb durch Kontext konditioniert wird. Es rekonstruiert keine gespeicherte Seite, sondern berechnet eine Fortsetzung – gelegentlich mit memorierten Fragmenten als eigenem Risiko.
Darum sind Prompting, Retrieval, Werkzeuge und Tests unterschiedliche Hebel. Ein Prompt ändert den Kontext, Retrieval liefert Belege, ein Werkzeug führt eine externe Operation aus, und ein Eval misst Verhalten. Keiner dieser Hebel verwandelt Wahrscheinlichkeit automatisch in Gewissheit.
Primärarbeiten und Risikorahmen
- Attention Is All You Need (research-primary)
- Google Research – Mechanics of Next Token Prediction (research-primary)
- Language Models are Few-Shot Learners (research-primary)
- NIST AI 600-1 – Generative AI Profile (standard-primary)
- NIST CSRC – Algorithm (standard-reference)
Recherche- und Redaktionsstand: 15. August 2026. Redaktionell verantwortlich: Benjamin Metzig.