AI Tools10 min de lectura

¿Gestionaría mejor el mismo reembolso el nuevo agente de IA? Ponlo a prueba

Las pruebas multivariantes de NiCE Cognigy comparan agentes de atención antes del despliegue. Los casos de reembolso, baja y transferencia revelan lo que una buena demostración puede pasar por alto.

K
Ken Jo

Un cliente llama porque su devolución llegó al almacén hace ocho días y todavía no ve el reembolso. Un agente de IA le promete que recibirá el dinero mañana. Otro comprueba el pedido, explica que el reembolso se ha iniciado pero todavía no se ha liquidado y transfiere la llamada cuando el cliente cuestiona el importe. Los dos parecen competentes. Solo el sistema de pedidos y el registro de la transferencia permiten saber qué ocurrió.

El 12 de noviembre de 2026, el proveedor de software de atención al cliente NiCE Cognigy presentó una nueva versión de su plataforma de agentes. Su función Multivariate Testing ejecuta en paralelo simulaciones con distintas versiones, modelos de lenguaje, agentes o escenarios. El anuncio también describe trazas para inspeccionar habilidades, llamadas a herramientas y uso de los modelos. El entorno llegó a las cuentas de prueba el 12 de noviembre, con un despliegue gradual para los clientes actuales a partir de ese mes. Novedades de NiCE Cognigy

La primera comparación útil enfrenta dos versiones del mismo agente al mismo problema de un cliente. Un reembolso, una baja y una petición de hablar con una persona muestran qué resultados conviene verificar antes de ponerlas a atender llamadas. Empieza por la experiencia que debería tener el cliente y comprueba el estado del sistema que la respalda.

Una conversación necesita un resultado que se pueda verificar

El caso del reembolso admite varias respuestas correctas. Si hay un pago pendiente, el agente puede comunicar ese estado e indicar dónde consultarlo. Si se recibió el producto devuelto pero no se inició el reembolso, quizá deba seguir la política establecida o derivar el caso al equipo autorizado. Si la persona no puede acreditar el acceso a la cuenta, el agente debe evitar revelar el estado del pedido. Un único escenario llamado «consulta sobre reembolso» puede ocultar las tres decisiones.

Da a cada prueba un registro inicial y un estado final permitido. En un caso, los datos de prueba indican que el reembolso está pendiente y ya tiene una referencia. El agente supera la prueba si lee el estado y no crea otro reembolso. En otro caso, el sistema devuelve un error al buscar el pedido. Para superar la prueba, el agente debe explicar que no ha podido confirmar el estado y seguir la vía de asistencia disponible. El resultado esperado depende de la política del negocio y del estado del sistema.

La forma de hablar del cliente sigue importando. «Solo quiero acabar con esto» puede ser una consulta sobre el estado del reembolso, una petición de cancelar algo o frustración por la espera. Incluye varias formas de expresar el mismo caso para que la prueba no premie las palabras exactas de una transcripción. Prueba una petición directa de transferencia y otra más suave, como «¿Podría alguien revisar esto conmigo?».

El mismo caso se ejecuta con dos configuraciones y se comparan las transcripciones y el estado de los pedidos

Mantén fijo el caso y compara tanto la conversación como el resultado en el sistema. Ilustración original de Telli.sh.

En un centro de atención real también importa distinguir entre preguntar y autorizar una acción. Una persona puede preguntar cuánto le costaría darse de baja y luego decidir mantener el servicio. Una buena prueba verifica que el agente comunica un importe respaldado y deja activa la cuenta. Es especialmente importante si una llamada a una herramienta introduce un cambio visible que alguien tendría que deshacer.

CasoQué debería ocurrirEvidencia para la revisión
Reembolso ya pendienteExplicar el estado actual sin duplicarloEstado del pedido, llamada a la herramienta y transcripción
El cliente pregunta por una penalización de bajaComunicar el importe o transferir si no se puede verificarPolítica de origen y ausencia de cambios en la cuenta
El cliente pide expresamente hablar con una personaEnviar a la cola adecuada con el contexto permitidoEvento de enrutamiento y datos recibidos en la transferencia
La consulta del pedido no está disponibleInformar con exactitud del estado de la consulta y ofrecer un siguiente pasoError de la herramienta, mensaje al cliente y registro del reintento o transferencia

La comparación es más fácil de interpretar cuando cambia una sola cosa

La actualización de Cognigy describe comparaciones entre Snapshots, modelos, agentes y escenarios. Empieza variando un solo elemento. Si cambias a la vez el modelo y sus instrucciones, una respuesta mejor dice poco sobre cuál de los dos cambios ayudó. Si cambias el flujo de transferencia y el modelo a la vez, un fallo nuevo de enrutamiento puede ser difícil de atribuir. Una variable controlada facilita actuar sobre el resultado. Novedades de NiCE Cognigy

Una primera prueba práctica mantiene fijas las reglas de conversación y las herramientas, y compara el modelo actual con un candidato. Si uno resulta prometedor, compara dos configuraciones de instrucciones o flujo con ese modelo. Mantén los mismos pedidos, supuestos temporales y datos de prueba. Reinicia el estado en cada ejecución para evitar que un caso cerrado en una prueba anterior cambie lo que ve la siguiente.

Las interacciones pueden variar con entradas idénticas. Un modelo puede tomar otra decisión al repetir la prueba, sobre todo si hay varias rutas válidas. Repite los casos de pagos, consentimiento y transferencias lo suficiente para detectar inestabilidad evidente. Registra los recuentos con sus denominadores. Un fallo de transferencia en tres pruebas y uno en cien se interpretan de forma distinta, y ninguno establece la tasa real de fallos.

Las trazas orientan la reparación. Si el agente afirma «he comprobado el reembolso» pero la traza no muestra ninguna consulta del pedido, falta respaldo. Si la consulta correcta devuelve «pendiente» y el agente dice «pagado», falla la lectura o la interpretación. Los dos errores suenan parecidos para el cliente, pero exigen correcciones distintas. NiCE Cognigy incluye entre los datos de la traza la ejecución de habilidades, las llamadas a herramientas y modelos y el consumo de tokens. Novedades de NiCE Cognigy

Mantén las reglas del negocio en la parte que puedas verificar

Cognigy indica que los clientes actuales pueden conservar Flows y Flow Agents, combinarlos con los nuevos AI Agents o adoptar la arquitectura más reciente, dirigida por agentes. Un flujo puede seguir controlando un paso determinista, como comprobar el consentimiento, y el agente puede ocuparse de la conversación que lo rodea. El anuncio también describe la devolución del control a un flujo. Así se puede modificar una conducta concreta sin dejar de usar los recorridos establecidos. Novedades de NiCE Cognigy

Imagina que alguien pide un reembolso y luego solicita hablar con una persona mientras el agente todavía está hablando. El modelo conversacional puede interpretar el cambio. Un flujo fijo puede elegir la cola y transferir el motivo de contacto y el identificador de cuenta verificado cuando esté permitido. La prueba puede inspeccionar el destino y comprobar que se completó la transferencia. Que el agente diga «le transfiero» es una señal intermedia, y el evento de la cola aporta evidencia de la transferencia.

Prueba otro desenlace con la misma llamada. La cola adecuada está cerrada y la herramienta solo indica que la transferencia no estaba disponible. Revisa la traza en orden. Debe mostrar si el agente eligió la cola prevista, si el destino rechazó la solicitud y si se ofreció otra vía permitida. Un agente que explique bien la situación puede superar la comprobación de comunicación mientras el enrutamiento necesita mejoras. Si la herramienta indica éxito pero no llega ningún caso a la cola, el equipo tiene otro problema que investigar.

Por eso ayuda utilizar estados cuyo significado comparta el equipo. «Transferencia solicitada» indica que el flujo lo intentó. «Transferencia aceptada» indica que el destino recibió la solicitud. «Derivación completada» debería significar que el agente receptor o la cola autorizada recibió el contexto prometido. Registra el último estado que puedas verificar e indica qué se espera cuando la cola está cerrada.

Acompaña el ejemplo con un caso acotado de baja. Antes de cambiar la cuenta, el flujo puede exigir una confirmación clara después de que el cliente conozca las condiciones aplicables. La llamada simulada debe detenerse antes de la operación si el cliente solo pide un importe. También debe detenerse si falla un requisito previo. Conviene evaluar por separado la conversación y la acción, porque una explicación cortés puede acompañar a un cambio de estado incorrecto.

Un agente interpreta al cliente mientras flujos definidos verifican la autorización, los cambios de cuenta y la derivación a una persona

Compara la conversación flexible con las comprobaciones que gobiernan las acciones importantes. Ilustración original de Telli.sh.

Las simulaciones y los contactos reales responden a preguntas distintas

Las simulaciones permiten repetir un caso con configuraciones diferentes. Así resulta fácil volver a probar un fallo poco frecuente pero importante. Las llamadas reales añaden tiempos de espera, ruido, interrupciones y cambios de herramientas o personal que los datos de prueba quizá no reproduzcan. Una llamada de prueba muy limpia muestra qué ocurre en condiciones controladas. Diseña un periodo de observación real para ver cómo se mantiene ese comportamiento en el uso habitual.

En voz, escucha cuánto tarda la siguiente respuesta útil y si el sistema deja de hablar cuando se le interrumpe. Una respuesta correcta sobre la cuenta puede resultar poco útil si el agente habla por encima de una corrección. Prueba pausas cortas y largas, la misma petición con otro acento y una persona que pasa de consultar un estado a pedir una transferencia. Cognigy anuncia soporte de voz a voz en tiempo real, con gestión de turnos y uso de herramientas. El enrutamiento telefónico y la acústica influyen en la experiencia real. Novedades de NiCE Cognigy

En chat, revisa qué sucede tras una pausa en la sesión. El cliente puede ir a buscar el número de pedido y volver más tarde. La respuesta debe aprovechar el contexto correcto cuando esté disponible y volver a preguntar si la sesión ya no permite establecer el dato. Compara los resultados aplicando la misma política a ambas versiones. La prueba importa en canales donde los intervalos largos son normales.

Elige al menos una medida en producción para cada decisión que la simulación pretende mejorar. Menos transferencias puede significar que el agente resuelve más problemas o que cuesta más llegar a una persona. Compara los contactos repetidos, los resultados en el sistema y el éxito de la derivación junto con la tasa de transferencia. Revisa cómo se seleccionan los casos para no atribuir a la configuración un cambio en el tipo de llamadas.

Empieza por una prueba que puedas explicar a quien recibe la llamada

  1. En un entorno de prueba o de cliente habilitado, elige un recorrido y una configuración existente como referencia. Registra qué cambia en el candidato. Usa datos sintéticos o autorizados e integraciones de prueba para operaciones importantes.
  2. Prepara registros iniciales reproducibles para cuatro casos. Incluye un reembolso pendiente, una consulta no disponible, una pregunta sobre la baja y una solicitud directa de hablar con una persona. Escribe los estados finales esperados antes de abrir las transcripciones.
  3. Ejecuta los mismos casos en ambas configuraciones con Multivariate Testing donde esté disponible. Revisa juntos los mensajes, los eventos de las herramientas y los estados finales. Reinicia los datos entre ejecuciones y repite los casos sensibles a la redacción o al tiempo.
  4. Distingue de los problemas de redacción los errores que revelan información incorrecta, cambian una cuenta sin autorización o pierden una transferencia solicitada sin avisar. Localiza el primer paso inesperado y corrige el componente responsable antes de repetir ese escenario.
  5. Establece un periodo de observación limitado con tráfico real apto. Compara los mismos resultados y revisa ejemplos con quienes reciben las transferencias. Mantén una forma sencilla de volver a la referencia si empeora un comportamiento importante.

Para equipos empresariales que ya usan Cognigy, la actualización indica que las funciones llegan gradualmente a producción y que se notificará a los clientes. Empieza con la prueba si quieres conocer el diseño y confirma que tienes acceso en el entorno previsto antes de planificar la comparación real. Disponibilidad y prueba de NiCE Cognigy

Un agente mejor deja un registro comprensible de lo que dijo y lo que hizo. Si puedes mostrar el estado del reembolso, la autorización y la cola que recibió la llamada en una misma prueba, el equipo de atención puede usar la comparación para decidir qué versión atenderá a los clientes.

Fuentes


Para que las transcripciones y decisiones de tus revisiones de atención se puedan consultar en un solo lugar, crea una cuenta en Telli.sh.


← Volver al blog