Erfunden, oder sieht es nur so aus?

Du lässt ein Sprachmodell Angaben aus Dokumenten in eine feste Form bringen, und im Ergebnis stehen Werte, die so in keinem Dokument standen. Der erste Griff geht zum Prompt.

In zwei Fällen aus einem abgeschlossenen Projekt war dieser Griff beide Male falsch, und zwar aus entgegengesetzten Gründen. Der eine war mit einer Änderung am Schema erledigt, der andere hätte fast einen funktionierenden Prompt zerstört.

Fall 1: Das Modell hätte nicht gegen die Anweisung erfunden, sondern wegen ihr

Ein Feld für eine Personenzahl war im Antwortschema als Pflicht markiert. In 32 gelesenen Zeilen stand diese Angabe 28 Mal gar nicht in der Vorlage.

Ein Pflichtfeld verlangt, dass im Ergebnis ein Wert steht. Ein Modell, das sich an das Schema hält, muss also einen liefern, auch wenn die Quelle keinen hergibt. Es hätte die Wahl zwischen zwei Regelbrüchen und nähme den, den man ihm aufgeschrieben hat: 28 plausible Zahlen, keine davon aus dem Dokument.

Das Feld auf optional zu setzen war die ganze Änderung. Danach blieben genau diese 28 Zellen leer, und die vier echten Werte stimmten mit dem Original überein.

Ein Pflichtfeld ohne Ausweg ist eine Aufforderung zum Raten. Entweder das Feld darf fehlen, oder es braucht einen eigenen Wert für „steht nicht drin“.

Der Befund stammt aus einem Modell und einem Datensatz. Ob andere Modelle sich bei Pflichtfeldern genauso verhalten, ist hier nicht gemessen worden. Was allgemein gilt, ist die Mechanik darunter und nicht das Ergebnis: Ein Schema, das ein Feld erzwingt, lässt einem Modell keinen richtigen Ausgang.

Nicht gemessen, aber derselbe Bau: eine Liste erlaubter Werte ohne einen Eintrag für „unbekannt“, ein Vorgabewert (dann sieht ein geratener Wert hinterher aus wie ein gemessener), ein Datumsfeld mit Jahr, wo im Dokument nur Tag und Monat stehen.

Fall 2: Der Verdacht war falsch, und das war teurer

20 Zeilen, gelesen aus einem unscharfen Schrägfoto. Sie sahen nach einer Halluzination aus, und das Foto war schlecht genug, dass die Erklärung passte.

Der Abgleich Kante für Kante ergab 20 von 20 richtig, einschließlich sechs Wechseln am selben Tag und ergänzter Jahreszahlen, die im Bild unvollständig waren.

Der Fehler lag in der Diagnose: Die Ergebnisse zweier Läufe waren verwechselt worden. Ein Zeitstempel in der Zieltabelle hätte das sofort aufgelöst.

Das ist der teurere der beiden Fälle. Wer hier am Prompt schraubt, ändert etwas, das funktioniert, und merkt es nicht: Ein Prompt, der vorher richtig las, liest hinterher immer noch meistens richtig. Der Schaden zeigt sich erst an der nächsten schwierigen Vorlage.

Die Reihenfolge, die beides trennt

Vier Fragen, immer in dieser Reihenfolge. Der Prompt steht bewusst am Schluss.

1. Woher stammt diese Zeile? Welcher Lauf, wann, aus welcher Datei? Ohne diese Antwort vergleicht man womöglich zwei verschiedene Dinge.
2. Was verlangt das Schema? Welche Felder sind Pflicht, welche haben einen Vorgabewert, welche eine feste Werteliste? Alles, was das Modell zwingt, erklärt den Wert, bevor der Prompt etwas erklären muss.
3. Was steht wirklich in der Quelle? Nicht das Ergebnis mit der Erinnerung an die Quelle vergleichen, sondern mit der Quelle. Bei einem Bild heißt das: nebeneinanderlegen und Zeile für Zeile durchgehen.
4. Erst jetzt der Prompt.

Die ersten drei sind Nachsehen. Der vierte ist Umbauen, und er ändert etwas, das vielleicht in Ordnung war.

Was in der Zieltabelle stehen sollte, bevor man es braucht

Drei Spalten, die im ruhigen Betrieb überflüssig aussehen und den Unterschied machen, sobald etwas seltsam ist:

• Zeitstempel je Zeile. Nicht je Lauf. Trennt zwei Durchgänge sofort.
• Woher die Zeile kam. Ein Kürzel für die Quelle reicht.
• Was von Hand geändert wurde. Eine Markierung, die auch verhindert, dass der nächste Lauf eine Korrektur überschreibt.

An der ersten hing Fall 2. Sie beantwortet die Frage „sind das überhaupt dieselben Daten“, und ohne eine Antwort darauf vergleicht man womöglich zwei verschiedene Läufe miteinander.

Und die Grenze davon

Keiner der beiden Fälle wäre einem Menschen aufgefallen, der das Ergebnis nur gelesen hätte. Beide Male sahen die falschen wie die richtigen Werte plausibel aus, und genau das ist die Eigenschaft, um die es geht: Ein erfundener Wert fällt nicht auf, ein fehlender schon. Deshalb ist das leere Feld die bessere Zusage, und deshalb ist ein Schema, das keins zulässt, der teurere Weg.