Langer Prompt, viele Regeln, ein Widerspruch

Wer Agenten baut, schreibt Anweisungen. Manchmal hunderte Zeilen. Was oben steht, widerspricht dann ab und an dem, was weiter unten steht. Nicht weil jemand unaufmerksam war, sondern weil ein Text in dieser Länge fast zwangsläufig irgendwo mit sich selbst in Konflikt gerät.

Das fällt erst auf, wenn das Modell sich unberechenbar verhält. Und oft weiss man dann nicht, ob es ein Fehler im Ablauf ist, ein Problem mit den Daten oder ein Widerspruch im Prompt.

Wir prüfen solche Anweisungen deshalb mit einem zweiten Modell, bevor wir sie einbauen. Nicht dasselbe Modell, das den Prompt auch benutzen wird, und nicht kurz drübergelesen. Ein eigener Lauf, mit einem eng gestellten Auftrag.

Worauf es beim Auftrag ankommt

Der Auftrag an das zweite Modell ist entscheidend. Wer schreibt "sei streng und finde alles", bekommt Rauschen. Das Modell meldet dann alles, was es irgendwie angreifen kann, ob es wirklich ein Problem ist oder nicht.

Was besser funktioniert: einen klaren, engen Auftrag. Etwa: "Prüfe, ob die Anweisungen in Abschnitt 3 und Abschnitt 7 sich widersprechen. Gib nur Widersprüche aus, die das Verhalten des Agenten tatsächlich beeinflussen." Das zweite Modell bekommt dazu den vollständigen Kontext: den Prompt, den Ablauf, den Zweck des Agenten. Ohne diesen Kontext prüft es auf dem falschen Massstab.

Bei langen Prompts taucht dabei immer etwas auf. Eine Regelformulierung, die in einem Fall gilt und im anderen nicht. Eine Bedingung, die zwei verschiedene Schlüsse zulässt. Ein Satz, der zu früh steht und etwas einschränkt, was erst drei Abschnitte später erklärt wird.

Was das mit Wachstum zu tun hat

Je mehr Agenten im Einsatz sind und je enger sie zusammenarbeiten, desto teurer werden solche Widersprüche. Ein einzelner Agent mit einem Fehler im Prompt ist ein Problem. Mehrere Agenten, die sich gegenseitig aufrufen und dabei auf widersprüchliche Anweisungen stossen, werden schwer zu diagnostizieren.

Selbstkontrolle ist deshalb kein optionaler Schritt für grosse Projekte. Sie ist der Schritt, der einen Ablauf überhaupt wartbar macht.