AI Tools11 min de lecture

Le nouvel agent IA gère-t-il mieux le même remboursement ? Testez-le avant le déploiement

Les tests multivariés de NiCE Cognigy comparent les agents d’un centre de contact avant leur mise en service. Remboursement, résiliation et transfert révèlent ce qu’une démonstration fluide peut masquer.

K
Ken Jo

Un client appelle parce que son retour est arrivé à l’entrepôt il y a huit jours et que le remboursement n’apparaît toujours pas. Un agent IA promet que l’argent sera versé demain. Un deuxième consulte la commande, explique que le remboursement a été lancé mais reste en attente, puis transfère l’appel quand le client conteste le montant. Les deux semblent compétents. Le système de commandes et le journal de transfert permettent de savoir ce qui s’est réellement passé.

Le 12 novembre 2026, NiCE Cognigy, fournisseur de logiciels pour centres de contact, a présenté une nouvelle version de sa plateforme d’agents. La fonction Multivariate Testing exécute côte à côte des simulations avec des versions, des modèles de langage, des agents ou des scénarios différents. L’annonce décrit également des traces permettant d’examiner les compétences exécutées, les appels d’outils et l’utilisation des modèles. Les comptes d’essai ont eu accès au nouvel environnement le 12 novembre. Le déploiement progressif auprès de la clientèle existante débute en novembre. Mise à jour produit de NiCE Cognigy

Pour un premier comparatif, soumettez deux versions du même agent au même problème. Un remboursement, une résiliation et une demande de parler à quelqu’un montrent quels résultats vérifier avant d’exposer l’une ou l’autre version aux clients. Partez de l’expérience attendue et vérifiez l’état du système qui la confirme.

Une conversation doit aboutir à un résultat vérifiable

Une demande de remboursement admet plusieurs bonnes réponses. Si le paiement est toujours en attente, l’agent peut indiquer cet état et expliquer où le vérifier. Si le retour a été reçu sans qu’un remboursement soit engagé, l’agent devra peut-être appliquer une règle existante ou passer la main à une équipe habilitée. Si l’appelant ne peut pas justifier son accès au compte, l’agent doit éviter de divulguer l’état de la commande. Un seul scénario intitulé « demande de remboursement » peut masquer ces trois décisions.

Donnez à chaque test un état de départ clair et un état final autorisé. Dans un cas, les données de test indiquent un remboursement en attente assorti d’une référence. Un agent réussit le test s’il lit ce statut sans créer un deuxième remboursement. Dans un autre cas, le système renvoie une erreur à la recherche de la commande. L’agent réussit s’il explique qu’il n’a pas pu confirmer le statut et oriente la demande vers la voie d’assistance disponible. Les règles métier et l’état du système déterminent le résultat attendu.

Les mots de l’appelant comptent aussi. « Je veux juste en finir » peut exprimer une demande de suivi, une volonté de résilier ou de la frustration face à l’attente. Variez la formulation d’un même cas pour que le test ne récompense pas seulement les mots exacts d’une transcription. Utilisez une demande directe de transfert et une formule plus indirecte comme « Quelqu’un pourrait regarder ça avec moi ? »

Le même cas client est soumis à deux configurations d’agent. Les transcriptions et les états de commande obtenus sont comparés

Gardez le cas client identique et comparez à la fois la conversation et le résultat dans le système. Illustration originale de Telli.sh.

Dans un centre de contact en activité, il est utile de distinguer une question d’une autorisation d’agir. Un client peut demander le coût d’une résiliation puis choisir de garder son service. Un bon test vérifie que l’agent annonce un montant justifié et laisse le compte actif. C’est particulièrement important lorsqu’un appel d’outil provoque un changement visible qu’une personne devrait ensuite annuler.

CasRésultat attenduPreuve à examiner
Remboursement déjà en attenteExpliquer le statut sans créer de doublonÉtat de la commande, journal des outils et transcription
Le client demande les frais de résiliationPrésenter les frais ou transférer la demande si le montant ne peut pas être confirméRègle applicable et absence de modification du compte
Le client demande explicitement une personneAcheminer la demande vers une file adaptée et transmettre le contexte autoriséÉvénement de routage et dossier de transfert reçu
La recherche de commande est indisponibleExpliquer précisément l’état de la recherche et proposer une suiteErreur de l’outil, formulation présentée au client et journal des tentatives ou du transfert

La comparaison est plus claire quand une seule chose change

Cognigy décrit des comparaisons entre Snapshots, modèles, agents et scénarios. Commencez par faire varier un seul élément. Si vous modifiez à la fois le modèle et ses consignes, une meilleure réponse dira peu sur la modification décisive. Si vous changez ensemble le parcours de transfert et le modèle, il peut être difficile d’attribuer une régression de routage. La variation d’un seul paramètre rend le résultat plus facile à exploiter. Mise à jour produit de NiCE Cognigy

Pour un premier essai, gardez les règles de conversation et les outils à l’identique, puis comparez le modèle actuel à un candidat. Si un modèle semble prometteur, comparez ensuite deux consignes ou deux configurations de parcours sur celui-ci. Réutilisez les mêmes commandes, les mêmes hypothèses temporelles et les mêmes données de test. Réinitialisez l’état entre deux exécutions pour qu’un cas fermé au premier essai ne modifie pas le suivant.

Les échanges peuvent varier même si les entrées restent fixes. Un modèle peut faire un autre choix au deuxième essai, surtout si les données autorisent plusieurs parcours. Répétez suffisamment les cas liés aux paiements, au consentement et aux transferts pour repérer une instabilité manifeste. Notez les nombres d’échecs et les totaux. Un transfert manqué en trois essais et un transfert manqué en cent essais ne s’interprètent pas de la même façon. Aucun de ces chiffres n’établit à lui seul un taux d’échec en production.

Une trace facilite le diagnostic d’une régression. Supposons que l’agent dise « J’ai vérifié votre remboursement », mais qu’aucune consultation de commande ne figure dans la trace. La réponse manque alors d’ancrage dans les données. Si la bonne recherche a renvoyé « en attente » et que l’agent a résumé « payé », c’est une erreur de lecture ou d’interprétation. Les deux erreurs produisent des messages proches pour le client et demandent des corrections différentes. NiCE Cognigy cite parmi les éléments des traces l’exécution des compétences, les appels d’outils ou de modèles et la consommation de jetons. Mise à jour produit de NiCE Cognigy

Confiez les règles métier à la partie que vous pouvez vérifier

Selon Cognigy, les clients actuels peuvent conserver les Flows et les Flow Agents, les combiner avec les nouveaux AI Agents ou adopter l’architecture plus récente pilotée par les agents. Un Flow peut rester responsable d’une étape déterministe comme le contrôle du consentement, tandis que l’agent gère la conversation autour de cette étape. La version présentée permet aussi de rendre la main à un Flow. Une équipe peut ainsi modifier un comportement tout en gardant les parcours établis. Mise à jour produit de NiCE Cognigy

Imaginons un appelant qui demande un remboursement, puis demande à parler à quelqu’un pendant que l’agent répond encore. Un modèle conversationnel peut détecter le changement. Un Flow de transfert défini à l’avance peut choisir la file et transmettre le motif du contact ainsi que l’identifiant de compte vérifié, lorsque c’est autorisé. Le test peut vérifier côté réception si le transfert a bien eu lieu. « Je vous transfère » annonce une étape. L’événement dans la file apporte la preuve du transfert.

Donnons une autre issue au même appel. La file adaptée est fermée et l’outil signale seulement que le transfert est indisponible. Relisez la trace dans l’ordre. Elle doit permettre de voir si l’agent a choisi la file attendue, si la destination a rejeté la demande et si une autre voie autorisée a été proposée. Une explication exacte peut réussir le test de communication alors que le routage nécessite une correction. Si l’outil signale une réussite et qu’aucun dossier n’atteint la file, l’équipe doit chercher ailleurs.

Utilisez des statuts dont le sens est partagé par toute l’équipe. « Transfert demandé » indique que le parcours a essayé. « Transfert accepté » indique que la destination a reçu la demande. « Passage de relais terminé » devrait signifier qu’une personne ou une file autorisée a reçu le contexte promis. Notez le dernier état vérifiable et définissez le résultat attendu pour une file fermée.

Ajoutez un test de résiliation aux conditions bien définies. Avant de modifier le compte, le parcours peut exiger une confirmation claire après présentation des conditions applicables. L’appel simulé doit s’arrêter avant l’opération si le client demande seulement un tarif ou si une condition préalable échoue. Évaluez séparément la conversation et l’action, car une explication polie peut s’accompagner d’une modification incorrecte.

Un agent IA traite la demande du client et des parcours définis contrôlent l’autorisation, les opérations sur le compte et le transfert à une personne

Comparez la souplesse de la conversation aux contrôles métier qui encadrent les actions importantes. Illustration originale de Telli.sh.

La simulation et les contacts réels répondent à des questions différentes

Les simulations rejouent le même cas sur plusieurs configurations. Elles permettent de reproduire facilement un échec rare mais important. En production, les appels comportent de véritables délais d’attente, du bruit, des interruptions et des variations d’outils ou d’effectifs que les données de test peuvent manquer. Un appel de test très propre renseigne sur le comportement en conditions contrôlées. Préparez une observation en production pour voir comment ce comportement tient dans l’usage courant.

À l’oral, écoutez combien de temps le client attend la prochaine réponse utile et si le système s’arrête de parler quand il est interrompu. Une réponse exacte sur le compte peut être peu utile si l’agent couvre la correction du client. Testez des pauses courtes et longues, une variante de la même demande avec un accent et le passage d’une question de statut à une demande de transfert. L’annonce de Cognigy cite les échanges vocaux directs en temps réel, la gestion des tours de parole et l’usage d’outils. Le routage téléphonique et les conditions acoustiques influencent ce que le client entend. Mise à jour produit de NiCE Cognigy

Dans le chat, regardez ce qui se passe après une interruption de session. Un client peut aller chercher son numéro de commande et revenir plus tard. La suite doit utiliser le contexte disponible et demander de nouveau les éléments que la session ne permet plus d’établir. Comparez les résultats avec les mêmes règles pour les deux versions. Cet exercice compte sur les canaux où de longues pauses sont courantes.

Choisissez au moins un indicateur de production pour chaque décision que la simulation doit améliorer. Une baisse du nombre de transferts peut signifier que l’agent résout davantage de problèmes ou que les clients peinent à parler à quelqu’un. Comparez les contacts répétés, les résultats dans le système et les transferts aboutis en parallèle du taux de transfert. Vérifiez l’échantillonnage pour éviter d’attribuer à la nouvelle configuration un changement dans la composition des appels.

Commencez par un test que le destinataire du transfert peut expliquer

  1. Dans un compte d’essai ou un environnement client éligible, choisissez un parcours et une configuration existante comme référence. Notez précisément ce que le candidat change. Utilisez des données synthétiques ou autorisées et des intégrations de test pour les opérations importantes.
  2. Préparez des états de départ reproductibles pour quatre cas. Incluez un remboursement déjà en attente, une recherche indisponible, une question sur la résiliation et une demande explicite de parler à quelqu’un. Écrivez les états finaux attendus avant d’ouvrir les transcriptions.
  3. Exécutez les mêmes cas sur les deux configurations dans Multivariate Testing lorsque la fonction est disponible. Examinez ensemble les interventions, les appels d’outils et les états finaux du système. Réinitialisez les données et répétez les cas sensibles aux mots ou au rythme.
  4. Traitez la divulgation d’informations inappropriées, les modifications non autorisées et les transferts demandés qui se perdent différemment d’un problème de formulation. Identifiez la première étape inattendue et corrigez le composant qui en est responsable avant de rejouer ce scénario.
  5. Définissez une période d’observation limitée pour le trafic réel éligible. Comparez les mêmes résultats et examinez des exemples avec les opérateurs qui reçoivent les transferts. Préparez un retour simple à la configuration de référence en cas de régression importante.

Pour les entreprises qui utilisent déjà Cognigy, l’annonce indique une mise à disposition progressive dans les environnements de production, avec notification des clients. Commencez par l’essai pour découvrir le fonctionnement et vérifiez l’accès dans l’environnement prévu avant de planifier une comparaison sur de vrais appels. Disponibilité et compte d’essai NiCE Cognigy

Un meilleur agent de centre de contact laisse une trace compréhensible de ses paroles et de ses actions. Montrer pour le même test le statut du remboursement, l’étape d’autorisation et la file destinataire donne à l’équipe d’assistance de quoi décider quelle version confier aux clients.

Sources


Pour retrouver facilement les transcriptions et les décisions issues des revues du support, créez un compte Telli.sh.


← Retour au blog