Du stellst einer KI eine Frage und wenige Sekunden später steht dort eine komplette Antwort. Hat die KI diese Antwort irgendwo gefunden?
Mit Klick wird das Video von YouTube geladen. Dabei wird eine Verbindung zu Google hergestellt. Mehr im Datenschutz.
Erklärung
Nein. Ein Sprachmodell erzeugt die Antwort neu.
Dafür betrachtet es den bisherigen Kontext und berechnet für verschiedene mögliche nächste Textbausteine Wahrscheinlichkeiten. Einer dieser Bausteine wird ausgewählt, an den bisherigen Text angehängt – und dann beginnt derselbe Vorgang erneut.
So entsteht die Antwort Schritt für Schritt.
Das klingt zunächst erstaunlich simpel. Damit diese Vorhersagen aber sinnvoll sind, hat das Modell beim Training sehr viele Muster und Beziehungen gelernt: Sprache, Begriffe, Fakten, Strukturen, typische Argumentationen und vieles mehr.
Beispiel
- Bisheriger Kontext
- mögliches nächstes Token
- Kontext wird erweitert
- nächstes Token
Wenn ich sage: „Ich esse mein Eis am liebsten mit …"
fallen dir wahrscheinlich mehrere sinnvolle Fortsetzungen ein: „Schokolade", „Sahne", „Erdbeeren".
„Schraubenzieher" wäre dagegen ziemlich ungewöhnlich.
Ein Sprachmodell macht etwas Vergleichbares – nur mit sehr viel mehr gelerntem Kontext und mathematisch berechneten Wahrscheinlichkeiten.
Warum ist das wichtig?
Eine flüssige Antwort ist nicht automatisch eine nachgeschlagene Tatsache. Das Modell erzeugt seine Antwort im jeweiligen Kontext neu.