Jede Nacht analysierte er alles noch einmal

Ein Ablauf sortiert unsere Bildbibliothek. Er läuft nachts, sieht nach, welche Bilder neu dazugekommen sind, lässt sie von einem Bildmodell beschreiben und schreibt das Ergebnis in eine Indexdatei. Nur die neuen. So war er gebaut.

Er lief. Grün, jede Nacht, ohne eine einzige Fehlermeldung. Aufgefallen ist die Sache erst, als die Kosten für die Bildanalyse nicht mehr zum Zuwachs an Bildern passten.

Was tatsächlich passierte

Der Speicher legt neue Dateien standardmässig privat ab. Beim Hochladen des Index war das Häkchen für den öffentlichen Zugriff nicht gesetzt. Im nächsten Lauf wollte der Ablauf seinen eigenen Index lesen und bekam eine 403 zurück, also eine Zugriffsverweigerung.

Dieser Leseschritt war absichtlich fehlertolerant gebaut: Wenn kein Index da ist, soll er weitermachen, sonst käme der allererste Lauf nie zustande. Genau das tat er. Ohne Index war die Liste der bereits beschriebenen Bilder leer. Damit galt jedes Bild als neu. Und jedes Bild ging erneut durch die Bildanalyse.

Nichts davon war kaputt. Die Beschreibungen stimmten, der Index war am Ende jeder Nacht korrekt, der Ablauf meldete Erfolg. Er machte nur jede Nacht die Arbeit von Monaten.

Warum das nicht am Modell lag

Es gibt zwei Arten, wie ein automatischer Ablauf falsch laufen kann. Er bricht ab, dann sieht man es sofort. Oder er tut zu viel, und dann sieht man gar nichts. Für den ersten Fall hat jedes System eine Überwachung. Für den zweiten hat es keine, weil zu viel Arbeit von aussen wie Arbeit aussieht.

Seither steht bei jedem neuen Ablauf eine zusätzliche Frage im Bauplan: Woran würde ich merken, dass er zu viel tut? Bei diesem Ablauf wäre die Antwort eine Zeile im Protokoll gewesen, wie viele Bilder er in diesem Lauf verarbeitet hat. Bei zwei neuen Bildern und einer Meldung über 400 verarbeitete Bilder fragt man nach.

Wo das im Betrieb vorkommt

• Ein nächtlicher Import, der jedes Mal den kompletten Katalog neu schreibt statt der Änderungen
• Ein Export, der alle Belege zieht, weil der Zeitstempel des letzten Laufs nicht ankommt
• Ein Abgleich, der Datensätze anlegt statt zu aktualisieren, weil er die vorhandenen nicht findet

Alle drei laufen sauber durch. Zwei davon kosten nur Rechenzeit. Der dritte erzeugt Dubletten, und die fallen erst auf, wenn jemand eine Auswertung macht.