Was ein Sprachmodell tut
Du kannst erklären, wie ein Sprachmodell Text erzeugt, warum es dabei Falsches behauptet und wo die Grenze seines Gedächtnisses liegt.
Introduction
Ein Sprachmodell ist kein Nachschlagewerk. Es beantwortet keine Frage, indem es irgendwo nachsieht. Es setzt Text fort.
Das klingt nach einer Kleinigkeit und erklärt fast alles, was im Umgang damit später schiefgeht. Wer das Bild vom Nachschlagewerk im Kopf behält, wundert sich über erfundene Quellen und über Antworten, die sich bei gleicher Frage unterscheiden.
Wie aus Wahrscheinlichkeiten Text wird
Das Modell bekommt den bisherigen Text und sagt voraus, welches Stück am wahrscheinlichsten als Nächstes kommt. Dann hängt es dieses Stück an und rechnet erneut. So entsteht eine Antwort, Stück für Stück, von vorn nach hinten.
Weil das Modell nicht immer das wahrscheinlichste Token nimmt, sondern aus den wahrscheinlichen auswählt, bekommst du auf dieselbe Frage zweimal verschiedene Antworten. Wie stark diese Auswahl streut, stellst du selbst ein. Das ist Thema der nächsten Lektion.
Was im Kontextfenster steht, ist alles, was zählt
Ein Gespräch hat kein Gedächtnis. Bei jeder Anfrage wird der gesamte bisherige Verlauf noch einmal mitgeschickt. Was du im ersten Satz gesagt hast, wirkt nur so lange, wie es im Fenster Platz hat.
Warum es Dinge behauptet, die es nicht gibt
Ein Modell hat kein Gefühl dafür, wann es etwas nicht weiß. Der Ton einer Antwort verrät nichts über ihre Richtigkeit.
Daraus folgt, was ein Sprachmodell allein nicht ist. Es rechnet nicht zuverlässig, weil Rechnen für ein Vorhersagemodell eine weitere Textform ist. Es prüft nichts, solange es keine Werkzeuge hat. Und es kennt deine Daten nicht, solange du sie nicht mitschickst. Für die letzten beiden Punkte gibt es Lösungen, sie stehen in Lektion drei und vier.
Zehn Antworten auf Belege prüfen
Du misst an einem Gebiet, in dem du dich auskennst, wie verlässlich die Angaben sind.
- Stelle einem Modell deiner Wahl zehn Fragen aus einem Thema, das du beurteilen kannst.
- Notiere zu jeder Antwort, ob sie eine überprüfbare Angabe enthält: eine Zahl, einen Namen, eine Quelle, einen Funktionsnamen.
- Prüfe jede dieser Angaben an der offiziellen Dokumentation oder an der Quelle selbst.
- Trage in eine Tabelle ein: Frage, behauptete Angabe, geprüft ja oder nein, Ergebnis.
- Stelle drei der Fragen erneut in einem frischen Gespräch und vergleiche die Antworten mit den ersten.
bekommt.
Done when
- Du kannst sagen, wie viele der geprüften Angaben nicht gestimmt haben.
- Du hast ein eigenes Beispiel dafür, dass dieselbe Frage verschiedene Antworten
Has it stuck?
7 cards from this lesson, 6 questions in the exam pool.