Wann liegt die KI daneben? Sechs kritische Prozesse für die Übergabe an einen Menschen

Jeder, der einen KI-Assistenten verkauft, erzählt Ihnen, wie viele Nachrichten er beantworten kann. Nur wenige sagen, welche Nachrichten er niemals beantworten sollte. Dabei misst sich der Wert eines Assistenten nicht an der Mehrheit der Fälle, in denen es gut läuft, sondern daran, wie er die wenigen Momente handhabt, in denen es schiefgehen kann.

Dieser Beitrag soll nicht verunsichern, sondern Ihnen helfen, die Arbeit, die Sie der KI überlassen, sicher auszuweiten. Zuerst ziehen wir die Grenze, dann zeigen wir, wie Sie sie durchsetzen.

Dieses Risiko ist nicht theoretisch

Im Februar 2024 machte das Civil Resolution Tribunal in British Columbia (Kanada) Air Canada für falsche Auskünfte verantwortlich, die der Chatbot auf der Website einem Fluggast gegeben hatte. Der Assistent hatte gesagt, eine Erstattung des Trauerfall-Tarifs könne auch nach dem Flug beantragt werden; die eigene Seite der Fluggesellschaft besagte das Gegenteil. Die Airline argumentierte, der Chatbot sei gewissermaßen eine eigene juristische Person, die für ihre Worte selbst hafte. Das Gericht wies das zurück: Der Chatbot ist Teil der Website des Unternehmens.

Im April 2025 teilte der Support-Assistent eines Softwareunternehmens (Cursor) einem Nutzer mit, es gelte eine Regel von einem Gerät pro Abonnement. Diese Regel gab es nicht; der Assistent hatte sie erfunden. Nutzer hielten das für eine offizielle Aussage, einige kündigten öffentlich ihr Abo, und das Unternehmen musste sich entschuldigen.

Gemeinsam ist beiden Fällen: Der Assistent war nicht böswillig, er war selbstsicher. Wenn eine KI nicht weiß, dass sie etwas nicht weiß, nennt sie Erfundenes im selben Ton wie Wahres. Die eigentliche Frage lautet daher nicht, ob ein Assistent Fehler macht (das tut er), sondern wer zahlt, wenn er es tut, und wie weit ein Fehler reichen kann.

Sechs kritische Prozesse, die einem Menschen gehören

Beschwerde, Wut und Krisenmoment. Ein verärgerter Kunde braucht zuerst das Gefühl, gehört zu werden, nicht eine Information; eine vorgefertigte Entschuldigung verstärkt den Ärger. Sobald der Ton kippt (Großbuchstaben, gehäufte Ausrufezeichen, Wörter wie „Unverschämtheit“), muss das Gespräch zu einem Menschen wechseln. Bei einer breiten Störung (verspätete Lieferung, Ausfall) ist jede eingehende Nachricht eine Beschwerde; an diesem Tag brauchen Sie eine einzige klare Mitteilung statt automatischer Antworten.
Erstattungs-, Entschädigungs- und Ausnahmeentscheidungen. Jede Entscheidung, die Geld kostet oder eine Regel beugt, gehört einem Menschen. Ein Assistent kann die Regelung erklären; eine Ausnahme kann er weder erkennen noch gewähren.
Ein Preis, Rabatt oder Liefertermin, der nicht in Ihrem Katalog steht. „Wir machen es Ihnen zu diesem Preis“ kann wie im Fall Air Canada als verbindliche Zusage gelten. Der Assistent sollte nur Informationen nennen, die eine Quelle haben.
Fragen mit rechtlichen, medizinischen oder finanziellen Folgen. Die Antwort auf „Deckt mich das ab?“, „Habe ich Anspruch?“ oder „Ist das legal?“ veranlasst den Kunden zu einer Entscheidung. Allgemeine Informationen sind in Ordnung; die folgenreiche Entscheidung sollte eine befugte Person treffen.
Ausweis-, Zahlungs- und sensible personenbezogene Daten. Sobald ein Kunde beginnt, eine Ausweisnummer, Kartendaten oder Gesundheitsangaben in den Chat zu schreiben, muss das Gespräch stoppen und der Kunde auf einen sicheren Kanal verwiesen werden.
Missverständnisschleifen und „Ich möchte mit einem Menschen sprechen“. Wer dieselbe Frage zweimal in anderen Worten stellt und keine Antwort bekommt, fragt kein drittes Mal, er geht. Wenn jemand einen Menschen verlangt, muss die Übergabe bedingungslos erfolgen.

Automatisierte Entscheidungen und Widerspruchsrecht

In der Türkei gibt Artikel 11 des Datenschutzgesetzes (KVKK) einer Person das Recht, einem für sie nachteiligen Ergebnis zu widersprechen, das ausschließlich aus der automatisierten Analyse ihrer Daten entsteht. Das ist keine Rechtsberatung, und für Ihren eigenen Fall sollten Sie einen Juristen fragen; die praktische Folge ist aber einfach: Eine Entscheidung zulasten des Kunden (einen Antrag ablehnen, eine Anfrage abweisen) sollte nicht allein auf der Ausgabe des Assistenten beruhen, ein Mensch sollte sie bestätigen.

So legen Sie Übergabeschwellen fest

Eine Schwelle ist eine schriftliche Regel, kein Gefühl. Je klarer die Regel, desto seltener liegt der Assistent daneben und desto ruhiger schlafen Sie. Fünf Auslöser, die Sie an Ihr Unternehmen anpassen können:

Wort- und Tonauslöser: Wörter wie „Beschwerde“, „Erstattung“, „Anwalt“, „Betrug“, „Unverschämtheit“ sowie Anzeichen von Wut. Ergänzen Sie die Wörter Ihrer eigenen Branche.
Themenauslöser: jedes Gespräch, in dem es um Erstattung, Entschädigung, Verträge, Garantie, Rabatte oder Ausweis- und Kartendaten geht.
Schleifenzähler: Hat der Assistent zweimal gesagt, dass er dasselbe nicht verstanden hat, versucht er es kein drittes Mal, sondern übergibt.
Wertschwelle: Übersteigt eine Bestellung oder ein Angebot einen bestimmten Betrag, macht ein Mensch den letzten Schritt. Den Betrag legen Sie fest.
Ausdrücklicher Wunsch: „Ich möchte mit einer verantwortlichen Person sprechen“ oder Ähnliches bedeutet Übergabe ohne Rückfragen.

Auch die Übergabe selbst muss gut sein

Eine Übergabe darf nicht bedeuten, dass der Kunde alles von vorn erzählen muss. Wenn das System mit einer Gesprächszusammenfassung übergibt, beginnt Ihr Team nicht bei null und der Kunde wird nicht hingehalten.

Ist niemand zur Übernahme da (Nacht, Wochenende, Feiertag), sagen Sie das ehrlich und nennen Sie eine konkrete Uhrzeit: „Morgen nach 9:00 Uhr schreibt Ihnen eine verantwortliche Person.“ „Wir melden uns so schnell wie möglich“ sagt nichts; eine Uhrzeit steuert die Erwartung.

„Ich weiß es nicht“ ist besser als erfinden

Die wertvollste Fähigkeit eines Assistenten ist nicht, alles zu wissen, sondern zu sagen, was er nicht weiß. Sätze wie diese kosten keinen Umsatz; ein erfundener Preis schon.

„Dazu liegen mir keine verlässlichen Informationen vor. Um Sie nicht falsch zu informieren, verbinde ich Sie mit einer verantwortlichen Person; morgen nach 9:00 Uhr meldet sich jemand bei Ihnen.“
„Ich bin nicht sicher, ob ich Sie richtig verstanden habe: Fragen Sie nach dem Preis oder nach der Lieferzeit?“
„Diesen Preis kann ich im Moment nicht bestätigen. Ein Angebot muss von einer verantwortlichen Person kommen; darf ich Ihre Kontaktdaten aufnehmen?“

Das setzt eines voraus: Der Assistent erzeugt seine Antworten nur aus der Quelle, die Sie ihm geben (Katalog, Preisliste, Richtlinientext), und sagt „Ich weiß es nicht“, wenn die Quelle es nicht abdeckt. Diese Regel darf nicht verhandelbar sein.

Vor dem Start: der Test mit schwierigen Fragen

Bevor Sie den Assistenten für Kunden öffnen, schreiben Sie selbst zwanzig „schwierige“ Nachrichten und lesen jede Antwort. Es geht nicht darum zu sehen, wie klug der Assistent ist, sondern wo er erfindet und wo er nicht übergibt.

Eine wütende Beschwerde, in Großbuchstaben, aber ohne Beleidigungen.
Der Preis eines Produkts, das gar nicht im Katalog steht.
Eine Feilschnachricht wie „Meinem Freund haben Sie diesen Rabatt gegeben, geben Sie ihn mir auch“.
Eine Erstattungsanfrage, einmal im Rahmen der Regelung und einmal außerhalb.
Ein Kunde, der eine Ausweisnummer in den Chat schreibt.
Ein Kunde, der dasselbe dreimal auf drei verschiedene Arten fragt.
Ein direktes „Ich möchte mit einem Menschen sprechen“.

Hören Sie mit dem Test nach dem Start nicht auf: Lesen Sie im ersten Monat jede Woche zwanzig zufällige echte Gespräche. Echte Kunden bringen einen Assistenten auf Wegen ins Stolpern, auf die Sie nie kämen.

Zusammenfassung

Der Wert eines Assistenten misst sich daran, wie er die Momente handhabt, in denen es schiefgehen kann.
Ein Unternehmen haftet für alles, was sein Assistent sagt; er lässt sich nicht als eigene juristische Person verteidigen.
Beschwerde, Geldentscheidung, Zusage außerhalb des Katalogs, folgenreiche Auskunft, sensible Daten und Schleifen: Diese sechs Prozesse gehören einem Menschen.
Legen Sie Übergabeschwellen als schriftliche Regeln fest, übergeben Sie mit Zusammenfassung und nennen Sie eine Uhrzeit, wenn niemand da ist.
Ein Assistent, der „Ich weiß es nicht“ sagen kann, schafft Vertrauen; machen Sie vor dem Start den Test mit schwierigen Fragen.