Eine KI besteht Prüfungen, auf die sich Menschen jahrelang vorbereiten – und kann trotzdem an einer Aufgabe scheitern, die ein Kind löst. Wie passt das zusammen?
Mit Klick wird das Video von YouTube geladen. Dabei wird eine Verbindung zu Google hergestellt. Mehr im Datenschutz.
Erklärung
Moderne Sprachmodelle sind in vielen Bereichen sehr leistungsfähig: Wissen wiedergeben und verknüpfen, Texte strukturieren, argumentieren, übersetzen, Code schreiben. In manchen konkreten Aufgaben oder Benchmarks können sie menschliche Leistungen erreichen oder übertreffen.
Gleichzeitig sind ihre Fähigkeiten ungleichmäßig verteilt. Dasselbe Modell kann eine schwierige Aufgabe souverän lösen und an einer einfachen scheitern – etwa wenn sie ungewohnt formuliert ist oder ein Detail anders liegt als in typischen Beispielen.
Starke Leistung in einzelnen Bereichen ist deshalb nicht dasselbe wie eine menschenähnliche allgemeine Intelligenz, die sich zuverlässig auf beliebige neue Situationen überträgt. Ebenso wenig macht ein auffälliger Fehler die übrigen Fähigkeiten wertlos.
Beispiel
Eine KI erklärt die Regeln eines Brettspiels fehlerfrei. Beschreibt man ihr eine ungewöhnliche Spielsituation, kann sie trotzdem danebenliegen – obwohl sich die Antwort aus den Regeln eindeutig ergibt.
Ein Mensch, der die Regeln kennt, würde die Situation in Gedanken durchspielen. Ob ein Modell intern etwas Vergleichbares tut, lässt sich von außen nicht immer erkennen. Sichtbar ist nur: An dieser Stelle ist die Leistung weniger zuverlässig, als die gute Erklärung vermuten lässt.
Warum ist das wichtig?
Leistung bei einer Aufgabe darf weder automatisch auf sämtliche anderen Fähigkeiten übertragen noch pauschal abgewertet werden.