Wenn dreißig Angebote in vierzig Minuten beantwortet sind, wo es sonst zweier Tage bedurfte, so liegt der Schluß nahe, die Software habe ihre Probe bestanden und dürfe in die Fläche; und die Geschäftsführung, im selben Termin noch, gibt die Ausrollung frei. Nur steht in keinem Protokoll, was die Probe erst möglich machte — und wer sie getragen hat, wird nicht gefragt.
Denn der Kollege aus dem Vertriebsinnendienst hat drei Tage lang Dubletten ausgesondert, Sonderkonditionen zugeordnet und ausgewählt, welche dreißig Fälle brauchbar seien; er nahm die abgeschlossenen, die sauberen, die gut dokumentierten, und niemand hatte ihn darum gebeten. Er wollte, daß es funktioniert.
Vier Wochen später aber zeigt der Bestand sein anderes Gesicht: derselbe Kunde steht dreimal im System, einmal mit Umlaut, einmal ohne, einmal unter dem Firmennamen von vor der Übernahme; der Artikelstamm zählt Tausende Positionen, von denen in Wahrheit nur ein Bruchteil je angeboten wird, und welche das sind, weiß niemand vollständig; die Sonderkondition für den größten Distributor endlich steht nicht im Preisfeld, sondern als Satz im Kommentarfeld eines Auftrags von 2019, geschrieben von einem Kollegen, der inzwischen im Ruhestand ist.
Hier kippt es. Die Fachabteilung öffnet die Software nicht mehr, weil das Nachkontrollieren länger dauert als das Selbermachen, und im Quartalsgespräch fragt die Geschäftsführung, warum aus vierzig Minuten wieder zwei Tage geworden seien.
Der Pilot war niemals eine Prüfung der Software, sondern eine Prüfung unter Laborbedingungen — und diese Bedingungen wurden mit der Ausrollung mitgenommen, statt vorher hergestellt zu werden. Ein schneller Durchlauf auf begrenztem, ausgewähltem Bestand wirkt beeindruckend; auf großen Mengen scheitert er am Rauschen. Das Aufräumen ist dabei nicht der teure Teil, denn mit KI-gestützter Programmierung läßt sich ein Bestand verhältnismäßig effizient bereinigen; was niemand einplant, kommt danach: die Kategorisierung nach Angebotstyp, Gerätetyp, Kundensegment, damit die Software überhaupt eng genug vorgefiltert arbeiten kann. Ohne diese Ordnung bleibt jede Automatisierung ein Ratespiel auf Tausenden Positionen.
Darum ist der Erfolg des Pilots kein Freibrief, sondern ein Warnsignal — und dies umso mehr, je engagierter die Fachabteilung ihn unterstützt hat. Je überzeugender die Demo, desto mehr menschliche Vorleistung steckt in ihr; und genau diese Vorleistung verschwindet dort, wo skaliert wird.
Man könnte denselben Testlauf anders anlegen: nicht auf dreißig ausgewählten Fällen, sondern auf einem zufällig gezogenen Querschnitt des echten Bestands, Altlasten inbegriffen. Dann stünde vor der Entscheidung fest, welcher Anteil der Vorgänge durchläuft und woran die übrigen hängen; es stünde fest, ab welchem Abdeckungsgrad die Software eine ganze Abteilung trägt, statt an dem einen Kollegen zu hängen, der die Fälle vorsortiert. Und die drei Tage Vorarbeit wären dann kein unsichtbarer Posten, sondern die Position, die vor allen anderen steht, mit Aufräumen und Kategorisierung als benannte Arbeitsschritte und nicht als stille Sondergabe eines Einzelnen.
Eine Demo beweist, daß eine KI-Software funktioniert, wenn die Daten stimmen. Daß die Daten stimmen, beweist sie nie. Was in der Fläche tragen soll, muß vorher am ungeschönten Bestand gemessen werden — der Pilot soll nicht zeigen, daß es geht, sondern unter welchen Bedingungen es geht.
Wer wissen will, ob es in der Fläche funktioniert, muß dort prüfen, wo niemand vorher aufgeräumt hat.
Nr. 76 · Cord Cassel · Zuerst erschienen auf LinkedIn, hier in der Originalfassung.