Der Agent zitierte die Fehlermeldung nicht, er deutete sie
Ein Ablauf lief gegen eine Schnittstelle. Die Schnittstelle antwortete mit einem Fehler, und der Agent beschrieb diesen Fehler weiter: nicht als Text, den er übernimmt, sondern als Befund, den er auslegt. Er schrieb sinngemäss, die Verbindung sei unterbrochen. Das klang plausibel. Wir suchten zuerst dort.
Die Verbindung war in Ordnung.
Was die Schnittstelle tatsächlich gemeldet hatte: ein Berechtigungsfehler. Das Token für den Zugang war abgelaufen. Hätten wir den Originaltext der Fehlermeldung gesehen, wäre das in wenigen Minuten klar gewesen. Stattdessen verloren wir gut eine Stunde in der falschen Richtung.
Was passiert war
Der Agent hatte den Fehlertext gelesen und daraus eine Beschreibung formuliert. Das klingt hilfreich. Ist es aber nicht, wenn die Beschreibung falsch ist.
Fehlermeldungen aus Schnittstellen sind meist kurz und technisch. Für einen Ablauf, der Ergebnisse melden soll, wirkt ein roher Fehlertext sperrig. Also glättet das Modell ihn. Es fasst zusammen, was es zu verstehen glaubt, und gibt das weiter.
Das Problem: Fehlermeldungen sind oft absichtlich präzise formuliert. "401 Unauthorized" und "Connection timeout" sind nicht dasselbe. Ein Modell, das beides als "Verbindungsproblem" beschreibt, macht aus zwei verschiedenen Befunden einen einzigen, und zwar den falschen.
Die Regel daraus
Fehlermeldungen werden nicht umformuliert. Sie werden als Text weitergegeben, so wie sie ankommen.
Das gilt besonders für Statusmeldungen aus Schnittstellen. Wir bauen seither in Abläufe, die Fehlermeldungen weiterleiten, eine klare Anweisung ein: Zitat, nicht Zusammenfassung. Den genauen Wortlaut aus dem Feld, in dem die Schnittstelle antwortet, nicht das, was das Modell daraus macht.
Wenn jemand den Fehler liest und nichts damit anfangen kann, ist das ein anderes Problem. Das lässt sich lösen, ohne den Fehlertext zu verändern: Zuerst der originale Text, dann darunter eine Erklärung. Aber die Erklärung ersetzt den Text nicht.
Der Ablauf hat nicht gelogen. Er hat interpretiert, wie er es immer tut, weil wir ihn nicht angewiesen hatten, es diesmal nicht zu tun.
Wieviele Fehlermeldungen in bestehenden Abläufen gerade als Zusammenfassung weiterlaufen, wissen wir nicht genau. Das ist die Frage, die nach diesem Vorfall übrig bleibt.
Was in Ihrem Fall zu tun ist, hängt von Ihrem Fall ab. Fragen Sie Karl, unseren KI-Assistenten. Er antwortet sofort, und wenn es weitergeht, übernimmt ein Mensch.
Karl fragen →Lieber gleich ein Mensch? Anfrage stellen.