Der Prompt, den ich mir hätte sparen können

Ich befinde mich, wie wohl viele, gerade in einer Ausprobierphase: Was kann KI? Wo liegen ihre Grenzen? Und wie lässt sich diese Technologie sinnvoll nutzen? Im Spannungsfeld zwischen erstaunlichen Ergebnissen und kaum weniger erstaunlichen Halluzinationen, zwischen Token-Kosten und dem möglichen Abfluss sensibler Informationen, ist es notwendig, eine eigene Strategie für den Umgang mit LLMs und Agenten zu entwickeln.

Ein weiterer kleiner Punkt auf meiner Lessons-Learned-Liste kam letzte Woche dazu.

Die Aufgabe

Für eines meiner Programme musste ich die Testdokumentation für die manuellen Systemtests erstellen. Das Programm sammelt Passungsinformationen aus einer CAD-Zeichnung und erzeugt daraus eine Tabelle der Abmaße als Information für Fertigung und Qualitätskontrolle. Meine Testzeichnung enthält fünf Maße mit den Passungen 20 H7, 40 k6, 60 G7, 80 H8 und 80 f7. Für diese Maße sollten die zu erwartenden Programmergebnisse in der Testdokumentation tabelliert werden. Diese Fleißarbeit habe ich dann an die KI abgegeben.

Erzeuge mir eine Tabelle im Markdown-Format, die die oberen und unteren Abmaße für die Nennmaße und Toleranzen 20 H7, 40 k6, 60 G7, 80 h8 [sic!] und 80 f7 auflistet.

GPT-5.4 mini lieferte das Ergebnis schnell, schön formatiert und leider falsch.

Hier ist eine Markdown-Tabelle mit den oberen und unteren Abmaßen für die genannten Nennmaße und Toleranzen:

Nennmaß	Toleranzlage	Toleranzgrad	Untermaß [mm]	Obermaß [mm]
20	H	7	0,000	+0,021
40	k	6	+0,010	+0,026
60	G	7	-0,015	+0,006
80	H	8	0,000	+0,046
80	f	7	-0,071	-0,030

Wenn du möchtest, kann ich dir auch noch die zugehörigen Grenzmaße (oberes/unteres Grenzmaß) berechnen und ergänzen.

Die richtigen Werte für diese Passungen habe ich dann doch noch einmal selbst ganz konventionell ermittelt:

Nennmaß	Toleranzlage	Toleranzgrad	Unteres Abmaß	Oberes Abmaß
20	H	7	0,000 mm	+0,021 mm
40	k	6	+0,002 mm	+0,018 mm
60	G	7	0,010 mm	0,040 mm
80	H	8	0,000 mm	+0,046 mm
80	f	7	-0,060 mm	-0,030 mm

Fairerweise muss man zugeben, dass diese Aufgabe nicht trivial ist. Die korrekten Werte sind nicht fix, sondern werden mittels Tabellen nach einem in einer Norm festgelegten Schema bestimmt ¹. Mit GPT-5.4 mini hatte ich außerdem ein Modell gewählt, das auf Größe und Geschwindigkeit optimiert ist.

Ein Modellvergleich

Ist ein leistungsfähigeres Modell die Lösung? In einem kleinen Ad-Hoc-Test habe ich die Aufgabe anderen Modellen ² in der Cloud und lokal gestellt.

Zwei Modelle haben dabei in meinen Augen auf ganz unterschiedliche Weise alles richtig gemacht. Das kleine Claude Haiku hat mir mitgeteilt, dass es die Aufgabe nicht direkt lösen, mir aber den Lösungsweg aufzeigen könne. Claude Sonnet 4.6 hat viele Tokens verbraucht und mir dann eine korrekte Tabelle inklusive vollständigem Lösungsweg zur Ermittlung aus den Norm-Tabellen präsentiert.

Llama 3 hat unterhalb der generierten (falschen) Tabelle immerhin in einem Nachsatz erwähnt, dass es sich nur um Beispielwerte handelt.

Alle anderen Modelle lieferten mir, mit mehr oder weniger Zusatztext, schlicht ein falsches Ergebnis.

Die Erkenntnis

Zurück zu meiner Testdokumentation. Ein falscher Zahlenwert dort führt spätestens beim ersten Systemtest zu zusätzlichem Aufwand für die Suche nach einem Programmfehler, den es gar nicht gibt. Die KI-Ergebnisse können also nicht ohne eine sorgfältige Prüfung verwendet werden. Diese Prüfung erfordert aber wiederum exakt die Arbeit, die eigentlich gespart werden sollte.

Die für mich interessante Erkenntnis ist: Bei dieser Aufgabe lohnt es sich grundsätzlich nicht, sie an ein Sprachmodell zu delegieren. KI spart an dieser Stelle keine Zeit und verbessert auch die Qualität nicht. Selbst die Leistungsfähigkeit des Modells spielt dabei keine entscheidende Rolle. Der Aufwand zur Kontrolle der Ergebnisse ist immer der gleiche.

Eine Faustregel

Die gute Nachricht ist, dass sich solche Aufgaben vorab mit zwei Fragen identifizieren lassen:

1. Ist es kritisch, wenn das Ergebnis falsch oder ungenau ist?
2. Liegt der Aufwand zur Prüfung in der gleichen Größenordnung wie der Aufwand zur konventionellen Ermittlung des Ergebnisses?

Wenn beide Antworten ja lauten, besteht eine gute Chance, dass ein generalistisches Sprachmodell nicht das Werkzeug der Wahl ist.

Meinen Ursprungsprompt hätte ich jedenfalls nach kurzem Nachdenken gar nicht absetzen müssen.