Der Ablauf lief perfekt, bis ein Brief vom Gericht kam

Im September erzählt ein Gast im Podcast TokenMade von seinem Rechnungsablauf. Er kümmert sich bei einem Unternehmen, das Steuerkanzleien kauft, um die Digitalisierung, und hat sich für seine eigenen Firmen etwas gebaut, das ziemlich elegant klingt. Mails kommen rein, ein Filter entscheidet, ob es um Buchhaltung geht, die Rechnung im Anhang wird ausgelesen und geprüft, an die Buchhaltungssoftware weitergeleitet, und die Mail verschwindet im Archiv. Er muss sich um nichts mehr kümmern, und genau das war ja der Plan.

Dann kommt irgendwann ein gelber Brief. Eine Rechnung war zwar ordentlich weitergeleitet worden, bezahlt hatte sie aber niemand, und die Zahlungserinnerungen dazu hatte er nie gesehen. „Du hast zehn E-Mails bekommen von denen. Hast halt nie gesehen, weil der Automatismus sich darum gekümmert hat“, sagt er. Die Erinnerungen kamen ohne Anhang, die Buchhaltungssoftware zeigt nur Mails mit Rechnung an, und so lag alles ordentlich im Archiv, bis eben dieser Brief vom Gericht im Briefkasten lag, nach seinen Worten ein Urteil, weil er nicht erschienen war. Gekostet habe ihn das „ein paar Euro“.

So erzählt er es selbst, und so gebe ich es wieder (nachgeprüft habe ich die Abschrift, nicht die Akte).

Der Ablauf hat eigentlich nichts falsch gemacht

Das finde ich das Interessante an der Geschichte. Soweit man das aus der Folge heraushört, ist kein Programm abgestürzt, und keine KI hat sich etwas ausgedacht. Der Ablauf hat getan, was man ihm gesagt hatte, nämlich Rechnungen weiterleiten und Mails wegräumen. Nur hatte niemand vorher überlegt, was mit einer Mail passiert, die zum Vorgang gehört, aber keine Rechnung enthält. Und es gab keine Stelle, an der ein Mensch gesehen hätte, was die Maschine aussortiert.

Seine Lösung danach ist bodenständig. Jede Nacht um Mitternacht bekommt er eine Mail mit einem Protokoll, welche Rechnungen und Mails wohin gegangen sind, und morgens schaut er kurz drauf, ob alles sauber durchgelaufen ist. Alles einzeln freigeben will er ausdrücklich nicht, er habe keine Lust, hundert Dinge am Tag freizugeben. Kann ich gut verstehen. Ein Protokoll, das jemand wirklich liest, ist dann wahrscheinlich der ehrlichere Weg.

Bauen ist inzwischen das Leichte

In derselben Podcast-Reihe kommt das Thema noch zweimal vor, nur von einer anderen Seite. Ein Schulleiter, der die Verwaltungssoftware seiner Schule komplett selbst gebaut hat, sagt, er habe am Anfang gedacht, jetzt mache das jeder. Mit der Zeit merke man aber, dass „auch noch eine gewisse Wartung dazu“ gehört, dass man das System dauernd aktualisiert, nach Fehlern sucht und jemanden hat, der als Ansprechpartner dasteht. Und ein Betriebsleiter aus der Chemie, der seine Excel-Tabellen durch eine eigene App ersetzt hat, erzählt von einem Update, das nicht funktionierte, und es gab keinen Weg zurück, weil nirgends festgehalten war, was sich geändert hatte. Er nennt das „ein relativ schmerzhaftes Learning“.

Dass man sich so etwas mit KI heute selbst bauen kann, zeigen alle drei Folgen. Die eigentliche Frage kommt danach: Wer prüft nächsten Monat, ob er noch tut, was er soll? Ein neuer Lieferant schreibt seine Mahnungen vielleicht anders, eine Software bekommt ein Update, ein Mitarbeiter legt eine neue Postfachregel an, und der Ablauf läuft fröhlich weiter, als wäre nichts.

Ich nehme mich da übrigens nicht aus. Ich baue mir selbst gerade ziemlich viel mit KI-Agenten, und den Aufräumlauf für mein eigenes Wiki, der doppelte und veraltete Seiten finden soll, haben mir meine Agenten schon dreimal vorgeschlagen. Gemacht ist er bis heute nicht.

Die Grenze liegt bei dem, was man nicht zurückholen kann

Für meine eigenen Werkzeuge habe ich eine einfache Regel. Meine KI-Werkzeuge dürfen lesen und Entwürfe anlegen. Festschreiben, löschen, verschicken mache ich selbst. Mein Rechnungsprogramm zum Beispiel legt einen Entwurf an, zeigt ihn mir, und festgeschrieben wird die Rechnung erst, wenn ich ausdrücklich zustimme. Das ist ein Schritt mehr pro Rechnung, und dafür gibt es keinen Schritt, den ich hinterher nicht erklären könnte.

Sobald ein Ablauf nach außen spricht, wird es noch ernster. Das Oberlandesgericht Hamm hat im Mai 2026 eine Klinik dafür haften lassen, dass der Chatbot auf ihrer Website zwei Ärzte als Fachärzte bezeichnet hatte, die das nicht waren. Die Antworten des Chatbots galten als eigene geschäftliche Handlung der Klinik, dass er selbstständig antwortet, hat sie nicht entlastet (Urteil vom 12. Mai 2026, 4 UKl 3/25).

Was räumt bei dir gerade automatisch weg?

Das muss gar keine KI sein. Eine Postfachregel, die irgendwer vor Jahren mal angelegt hat, ein Spamfilter, eine Weiterleitung an eine Adresse, die keiner mehr liest, das alles räumt auch weg. Die Frage für deinen Betrieb ist ziemlich schlicht: Was läuft bei euch automatisch, wohin verschwindet dabei etwas, und wer schaut da regelmäßig nach?

Wenn du gerade überlegst, dir so einen Ablauf zu bauen oder bauen zu lassen, schau dir an, wie ich KI im Betrieb einrichte, oder ruf mich an, 0157 73953819. Dann reden wir vorher darüber, wer ihn nächsten Monat prüft.