Löst der neue KI-Agent dieselbe Rückerstattung besser? Prüfen Sie ihn vor dem Start
Mit multivariaten Tests von NiCE Cognigy lassen sich Contact-Center-Agenten vor dem Einsatz vergleichen. Rückerstattung, Kündigung und Übergabe zeigen, was eine gute Demo verbergen kann.
Ein Kunde ruft an, weil seine Rücksendung vor acht Tagen im Lager eingetroffen ist und die Erstattung noch fehlt. Ein KI-Agent verspricht die Gutschrift für morgen. Ein zweiter prüft die Bestellung, erklärt, dass die Rückzahlung eingeleitet, aber noch nicht abgeschlossen wurde, und leitet das Gespräch weiter, als der Kunde den Betrag beanstandet. Beide klingen kompetent. Was tatsächlich geschah, lässt sich erst am Bestellsystem und am Übergabeprotokoll erkennen.
Am 12. November 2026 stellte der Contact-Center-Anbieter NiCE Cognigy eine neue Version seiner Agentenplattform vor. Die Funktion Multivariate Testing führt Simulationen mit unterschiedlichen Agentenversionen, Sprachmodellen, Agenten oder Szenarien nebeneinander aus. Die Ankündigung beschreibt außerdem Ablaufprotokolle für Skills, Werkzeugaufrufe und Modellnutzung. Testkonten erhielten am 12. November Zugriff auf die neue Umgebung. Für Bestandskunden beginnt die schrittweise Einführung im November. Produktupdate von NiCE Cognigy
Ein guter erster Vergleich setzt zwei Versionen desselben Agenten auf dasselbe Kundenanliegen an. Eine Erstattung, eine Kündigung und die Bitte um ein Gespräch mit einem Menschen zeigen, welche Ergebnisse zu prüfen sind, bevor eine Version Kundenanrufe übernimmt. Gehen Sie vom gewünschten Kundenerlebnis aus und prüfen Sie den Systemzustand, der es belegt.
Ein Gespräch braucht ein überprüfbares Ergebnis
Bei einer Rückerstattung sind mehrere Antworten möglich. Ist die Zahlung noch ausstehend, kann der Agent den Status nennen und erklären, wo der Kunde nachsehen kann. Ist die Ware zurückgekommen, aber keine Erstattung eingeleitet, muss der Agent möglicherweise eine bestehende Richtlinie anwenden oder an ein Team mit der passenden Berechtigung übergeben. Kann der Anrufer seinen Zugang zum Konto nicht nachweisen, darf der Agent den Bestellstatus nicht offenlegen. Ein einziges Szenario namens „Erstattungsanfrage“ kann alle drei Entscheidungen verdecken.
Geben Sie jedem Test einen klaren Ausgangsdatensatz und einen zulässigen Endzustand. In einem Fall sehen die Testdaten eine ausstehende Rückzahlung mit vorhandener Referenznummer vor. Der Agent besteht, wenn er den Status ausliest und keine zweite Rückerstattung anlegt. In einem anderen Fall liefert die Bestellsuche einen Fehler. Der Agent besteht, wenn er erklärt, dass er den Status nicht bestätigen konnte, und den verfügbaren Supportweg anbietet. Die Geschäftsregeln und der Systemzustand geben das erwartete Ergebnis vor.
Auch die Formulierung des Anrufers zählt. „Ich will das nur hinter mich bringen“ kann nach dem Erstattungsstand fragen, auf eine Kündigung zielen oder Frust über die Wartezeit ausdrücken. Nehmen Sie sprachliche Varianten desselben Falls auf, damit der Test nicht nur die genaue Formulierung eines einzigen Transkripts belohnt. Prüfen Sie eine direkte Bitte um Weiterleitung und eine indirektere Frage wie „Könnte sich das jemand mit mir zusammen ansehen?“
Halten Sie den Kundenfall konstant und vergleichen Sie das Gespräch mit dem Ergebnis im System. Eigene Illustration von Telli.sh.
Im laufenden Kundendienst lohnt es sich zudem, eine Frage von der Genehmigung einer Handlung zu unterscheiden. Ein Kunde kann sich nach den Kosten einer Kündigung erkundigen und anschließend den Dienst behalten wollen. Ein guter Test prüft, ob der Agent den belegten Betrag nennt und das Konto aktiv lässt. Das zählt besonders, wenn ein Werkzeugaufruf eine sichtbare Änderung auslöst, die später jemand rückgängig machen müsste.
| Fall | Erwartetes Ergebnis | Beleg für die Prüfung |
|---|---|---|
| Erstattung läuft bereits | Den aktuellen Stand erklären, ohne eine zweite Erstattung anzulegen | Bestellstatus, Werkzeugprotokoll und Transkript |
| Kunde fragt nach einer Kündigungsgebühr | Gebühr nennen oder weiterleiten, wenn sie sich nicht verifizieren lässt | Maßgebliche Richtlinie und unverändertes Konto |
| Kunde bittet ausdrücklich um einen Menschen | In die passende Warteschlange weiterleiten und erlaubten Kontext mitgeben | Weiterleitungsereignis und Übergabedaten für die übernehmende Person |
| Bestellsuche ist nicht verfügbar | Status der Abfrage korrekt schildern und einen nächsten Schritt anbieten | Werkzeugfehler, Antwort an den Kunden und Protokoll etwaiger Wiederholung oder Weiterleitung |
Ein Vergleich lässt sich leichter auswerten, wenn sich nur eine Sache ändert
Cognigys Update beschreibt Vergleiche von Snapshots, Modellen, Agenten und Szenarien. Ändern Sie anfangs nur eine Größe. Wenn Sie gleichzeitig das Modell und seine Anweisungen wechseln, verrät eine bessere Antwort kaum, welche Änderung geholfen hat. Bei gleichzeitigem Wechsel von Weiterleitungsablauf und Modell kann sich ein Routingfehler schwer zuordnen lassen. Eine einzige veränderte Größe macht es leichter, aus dem Ergebnis eine Entscheidung abzuleiten. Produktupdate von NiCE Cognigy
Halten Sie für den ersten Versuch die Gesprächsregeln und Werkzeuge fest und vergleichen Sie das aktuelle Modell mit einem Kandidaten. Erweist sich eine Version als brauchbar, vergleichen Sie auf diesem Modell zwei Prompt- oder Flow-Konfigurationen. Verwenden Sie jedes Mal dieselben Bestelldaten, Zeitannahmen und Testdatensätze. Setzen Sie den Zustand für jeden Lauf zurück, damit ein bereits geschlossener Fall die Ausgangslage eines späteren Tests nicht verändert.
Testgespräche können sich selbst bei unveränderten Eingaben unterscheiden. Ein Modell kann beim zweiten Versuch anders entscheiden, besonders wenn die Testdaten mehrere gültige Wege zulassen. Wiederholen Sie Fälle zu Zahlungen, Einwilligung und Übergaben häufig genug, um deutliche Schwankungen zu erkennen. Notieren Sie die absoluten Zahlen und den jeweiligen Gesamtumfang. Eine fehlgeschlagene Übergabe in drei Tests ist anders zu bewerten als eine in hundert Tests. Daraus lässt sich jeweils noch keine Ausfallrate im laufenden Betrieb ableiten.
Ein Ablaufprotokoll erleichtert die Diagnose. Angenommen, der Agent sagt „Ich habe Ihre Erstattung geprüft“, obwohl im Protokoll keine Bestellsuche auftaucht. Dann fehlt der Antwort der Datenbezug. Wurde die richtige Abfrage ausgeführt, ergab „ausstehend“ und der Agent machte daraus „ausbezahlt“, liegt das Problem beim Lesen oder Deuten des Ergebnisses. Beide Fehler erzeugen für den Kunden ähnliche Aussagen und brauchen unterschiedliche Korrekturen. NiCE Cognigy nennt ausgeführte Skills, Werkzeug- und Modellaufrufe sowie den Tokenverbrauch als Bestandteile der Ablaufprotokolle. Produktupdate von NiCE Cognigy
Geschäftsregeln gehören dorthin, wo sie sich überprüfen lassen
Laut Cognigy können Bestandskunden Flows und Flow Agents weiter nutzen, sie mit den neuen AI Agents verbinden oder zur neueren agentengesteuerten Architektur wechseln. Ein Flow kann einen fest definierten Schritt wie die Einwilligungsprüfung übernehmen, während der Agent das Gespräch darum herum führt. Die Ankündigung beschreibt auch die Rückgabe der Kontrolle an einen Flow. So kann ein Team ein einzelnes Verhalten ändern und die etablierten Abläufe weiter nutzen. Produktupdate von NiCE Cognigy
Stellen Sie sich einen Anrufer vor, der zunächst eine Erstattung verlangt und noch während der Antwort um einen Menschen bittet. Ein Konversationsmodell kann den Wechsel erkennen. Ein fester Übergabe-Flow kann die Warteschlange wählen und, sofern erlaubt, den Kontaktgrund sowie die verifizierte Kontokennung weitergeben. Im Test lässt sich auf der Empfängerseite feststellen, ob die Weiterleitung tatsächlich ankam. „Ich leite Sie weiter“ kündigt einen Schritt an. Das Warteschlangenereignis belegt die Weiterleitung.
Geben Sie demselben Anruf nun einen anderen Ausgang. Die zuständige Warteschlange ist geschlossen und die Werkzeugantwort meldet nur, dass die Weiterleitung nicht verfügbar ist. Lesen Sie das Protokoll in Reihenfolge. Es sollte zeigen, ob der Agent die erwartete Warteschlange wählte, ob das Ziel die Anfrage ablehnte und ob ein anderer zulässiger Supportweg angeboten wurde. Eine zutreffende Erklärung kann den Kommunikationstest bestehen, obwohl das Routing noch überarbeitet werden muss. Meldet das Werkzeug Erfolg, obwohl kein Vorgang in der Warteschlange ankommt, muss das Supportteam an anderer Stelle suchen.
Hilfreich sind Statuswerte, deren Bedeutung das Team gemeinsam festlegt. „Weiterleitung angefordert“ bedeutet, dass der Ablauf es versucht hat. „Weiterleitung angenommen“ bedeutet, dass das Ziel die Anfrage erhalten hat. „Übergabe abgeschlossen“ sollte bedeuten, dass ein Supportmitarbeiter oder eine zugelassene Warteschlange den zugesagten Kontext bekommen hat. Halten Sie den letzten nachweisbaren Zustand fest und machen Sie die Testerwartung für eine geschlossene Warteschlange ausdrücklich.
Ergänzen Sie eine begrenzte Kündigungsaufgabe. Vor der Kontoänderung kann der Ablauf eine klare Bestätigung verlangen, nachdem der Kunde die geltenden Bedingungen gesehen hat. Ein simulierter Anruf sollte vor der Änderung enden, wenn der Anrufer nur einen Preis wissen will. Er sollte auch bei einer fehlenden Voraussetzung anhalten. Prüfen Sie Gespräch und Aktion getrennt, denn eine höfliche Erklärung kann mit einer falschen Zustandsänderung einhergehen.
Vergleichen Sie das flexible Gespräch mit den Geschäftsprüfungen für folgenreiche Aktionen. Eigene Illustration von Telli.sh.
Simulation und Kundengespräch beantworten unterschiedliche Fragen
In der Simulation lässt sich derselbe Fall mit verschiedenen Konfigurationen wiederholen. So kann das Team einen seltenen, aber wichtigen Fehler gezielt erneut prüfen. Echte Anrufe bringen Wartezeiten, Hintergrundgeräusche, Unterbrechungen sowie wechselnde Werkzeuge und Personalbesetzungen mit, die Testdaten möglicherweise nicht abbilden. Ein ungewöhnlich sauberer Testanruf zeigt das Verhalten unter kontrollierten Bedingungen. Beobachten Sie anschließend, wie sich dasselbe Verhalten im Alltag bewährt.
Achten Sie bei Sprache darauf, wie lange der Anrufer auf die nächste aussagekräftige Antwort wartet und ob das System bei einer Unterbrechung zu sprechen aufhört. Eine sachlich korrekte Kontoinformation kann wenig hilfreich wirken, wenn der Agent eine Korrektur übertönt. Testen Sie kurze und lange Pausen, die gleiche Bitte mit einem Akzent und den Wechsel von einer Statusfrage zur Bitte um Weiterleitung. Cognigys Ankündigung nennt direkte Sprachinteraktion in Echtzeit mit Sprecherwechsel und Werkzeugnutzung. Telefonrouting und akustische Bedingungen prägen, was beim Anrufer ankommt. Produktupdate von NiCE Cognigy
Prüfen Sie im Chat, was nach einer Sitzungsunterbrechung passiert. Ein Kunde kann eine Bestellnummer suchen und später zurückkehren. Die Antwort sollte den verfügbaren Kontext sinnvoll nutzen und erneut nachfragen, wenn die Sitzung die nötigen Informationen nicht mehr belegt. Vergleichen Sie beide Agentenversionen anhand derselben Richtlinie. Das ist besonders relevant für Kanäle, in denen lange Pausen zum Alltag gehören.
Wählen Sie für jede Entscheidung, die die Simulation verbessern soll, mindestens eine Kennzahl aus dem laufenden Betrieb. Weniger Weiterleitungen können bedeuten, dass der Agent mehr Anliegen gelöst hat. Sie können auch bedeuten, dass Anrufer schwerer einen Menschen erreichen. Vergleichen Sie erneute Kontakte, Ergebnisse im System und erfolgreiche Übergaben zusammen mit der Weiterleitungsquote. Prüfen Sie die Auswahl der Fälle, damit eine Veränderung im Anrufmix nicht fälschlich der neuen Konfiguration zugeschrieben wird.
Beginnen Sie mit einem Test, den der übernehmende Support erklären kann
- Wählen Sie in einem Testkonto oder einer berechtigten Kundenumgebung einen Kundenablauf und eine bestehende Konfiguration als Ausgangspunkt. Halten Sie genau fest, was sich im Kandidaten ändert. Verwenden Sie synthetische oder freigegebene Daten und Testintegrationen für Aktionen mit Folgen.
- Bereiten Sie reproduzierbare Ausgangsdaten für vier Fälle vor. Nehmen Sie eine ausstehende Erstattung, eine nicht verfügbare Suche, eine Frage zur Kündigung und die ausdrückliche Bitte um einen Menschen auf. Legen Sie die erwarteten Endzustände vor der Auswertung der Transkripte fest.
- Führen Sie dieselben Testdatensätze, wo verfügbar, mit beiden Konfigurationen in Multivariate Testing aus. Prüfen Sie Äußerungen, Werkzeugereignisse und endgültige Systemzustände gemeinsam. Setzen Sie die Daten zwischen den Läufen zurück und wiederholen Sie Fälle, bei denen Formulierung oder Timing wichtig sind.
- Bewerten Sie die Offenlegung falscher Informationen, Kontoänderungen ohne Genehmigung und unbemerkte Verluste einer gewünschten Weiterleitung anders als ein Formulierungsproblem. Verfolgen Sie den ersten unerwarteten Schritt und korrigieren Sie die verantwortliche Komponente, bevor Sie genau diesen Fall erneut testen.
- Richten Sie einen begrenzten Beobachtungszeitraum für geeignete Live-Anfragen ein. Vergleichen Sie dieselben Ergebnisse und prüfen Sie Beispiele mit den Mitarbeitenden, die die Weiterleitungen übernehmen. Halten Sie eine einfache Rückkehr zur Ausgangskonfiguration bereit, falls sich ein wichtiges Verhalten verschlechtert.
Für Unternehmen, die Cognigy bereits nutzen, beschreibt das Produktupdate eine schrittweise Freischaltung in Produktionsumgebungen mit Benachrichtigung der Kunden. Wer den Aufbau kennenlernen möchte, kann im Testkonto beginnen und den Zugriff in der vorgesehenen Umgebung prüfen, bevor ein Live-Vergleich geplant wird. Verfügbarkeit und Testzugang bei NiCE Cognigy
Ein besserer Contact-Center-Agent hinterlässt einen verständlichen Nachweis über seine Aussagen und Handlungen. Wer Erstattungsstatus, Genehmigung und empfangende Warteschlange für denselben Test zeigen kann, gibt dem Supportteam eine Grundlage für die Entscheidung, welche Version Kundenanrufe übernehmen soll.
Quellen
- Ankündigung der neuen Plattformgeneration von NiCE Cognigy vom 12. November 2026 mit Screenshots und Angaben zur Einführung
- NiCE Cognigy: Informationen zu Unternehmen und Produkt
Um Transkripte und Entscheidungen aus Supportprüfungen durchsuchbar zu halten, erstellen Sie ein Telli.sh-Konto.