AI Tools10 min de leitura

O novo agente de IA lidaria melhor com o mesmo reembolso? Teste antes de lançar

Os testes multivariados da NiCE Cognigy comparam agentes de atendimento antes da implantação. Casos de reembolso, cancelamento e transferência revelam o que uma boa demonstração pode esconder.

K
Ken Jo

Uma cliente liga porque o produto devolvido chegou ao depósito há oito dias e o reembolso ainda não apareceu. Um agente de IA promete que o dinheiro chega amanhã. Outro consulta o pedido, explica que o reembolso foi iniciado mas ainda não foi liquidado e transfere a ligação quando a cliente contesta o valor. Os dois parecem competentes. Só o sistema de pedidos e o registro da transferência mostram o que de fato aconteceu.

Em 12 de novembro de 2026, a NiCE Cognigy, fornecedora de software para centrais de atendimento, apresentou uma nova versão de sua plataforma de agentes. O recurso Multivariate Testing executa simulações lado a lado com diferentes versões de agentes, modelos de linguagem, agentes ou cenários. O anúncio também descreve rastros de execução para inspecionar habilidades, chamadas de ferramentas e uso do modelo. O novo ambiente chegou às contas de teste em 12 de novembro, com distribuição gradual aos clientes atuais a partir daquele mês. Atualização de produto da NiCE Cognigy

Uma primeira comparação útil coloca duas versões do mesmo agente diante do mesmo problema. Reembolso, cancelamento e pedido para falar com uma pessoa mostram o que verificar antes de colocar qualquer versão em contato com clientes. Comece pelo que o cliente deve vivenciar e confira o estado do sistema que confirma esse resultado.

Uma conversa precisa ter um resultado que possa ser testado

O exemplo do reembolso tem várias respostas corretas possíveis. Se o pagamento ainda estiver pendente, o agente pode informar o estado e explicar onde acompanhar. Se a devolução chegou, mas o reembolso ainda não começou, talvez seja preciso seguir uma política existente ou transferir para uma equipe com a permissão certa. Se a pessoa não comprovar que tem acesso à conta, o agente deve evitar divulgar o estado do pedido. Um cenário único chamado “consulta de reembolso” pode esconder as três decisões.

Dê a cada teste um registro inicial claro e um estado final permitido. Em um caso, os dados de teste mostram que o reembolso está pendente e já tem um número de referência. Um agente que passa consulta o estado sem criar outro reembolso. Em outro caso, o sistema retorna erro quando o agente procura o pedido. Para passar, ele precisa explicar que não conseguiu confirmar o estado e encaminhar a solicitação pelo canal de suporte disponível. O resultado esperado deriva da política do negócio e do estado do sistema.

A linguagem da pessoa continua importante. “Só quero acabar com isso logo” pode ser um pedido para saber a situação do reembolso, um desejo de cancelar alguma coisa ou frustração com a demora. Inclua variações do mesmo cenário para que o teste não premie apenas a frase exata de uma transcrição. Use tanto uma instrução direta de transferência quanto um pedido mais sutil, como “Alguém poderia olhar isso comigo?”.

O mesmo caso de atendimento passa por duas configurações do agente, e a revisão compara as transcrições e os estados resultantes do pedido

Mantenha o caso do cliente fixo e compare a conversa junto com o resultado no sistema. Ilustração original da Telli.sh.

No atendimento ao vivo, também importa distinguir uma pergunta de uma autorização para agir. Alguém pode perguntar quanto custaria cancelar e, depois, escolher manter o serviço. Um bom teste verifica se o agente informa um valor sustentado pela política e mantém a conta ativa. Isso ganha importância quando uma ferramenta faz uma mudança visível que uma pessoa teria de desfazer.

CasoO que deve acontecerEvidência para a revisão
Reembolso já pendenteExplicar o estado atual sem criar uma duplicataEstado do pedido, registro de chamadas de ferramentas e transcrição
Cliente pergunta sobre taxa de cancelamentoInformar a taxa ou transferir se ela não puder ser confirmadaPolítica de referência e ausência de alteração na conta
Cliente pede explicitamente para falar com alguémEncaminhar à fila adequada com o contexto permitidoEvento de roteamento e dados recebidos pelo atendente
Consulta do pedido indisponívelExplicar corretamente o estado da consulta e oferecer um próximo passoErro da ferramenta, mensagem ao cliente e eventual nova tentativa ou transferência

A comparação fica mais fácil de interpretar quando só uma coisa muda

A atualização da Cognigy descreve comparações entre Snapshots, modelos, agentes e cenários. Comece variando um elemento. Se você trocar tanto o modelo quanto suas instruções, uma resposta melhor diz pouco sobre qual mudança ajudou. Se trocar o fluxo de transferência e o modelo ao mesmo tempo, pode ficar difícil atribuir uma regressão de roteamento. Uma variável por vez facilita agir sobre o resultado. Atualização de produto da NiCE Cognigy

Uma primeira execução prática mantém a política de conversa e as ferramentas fixas enquanto compara o modelo em uso com um candidato. Quando uma versão mostrar potencial, compare duas configurações de instruções ou fluxo com esse modelo. Use sempre os mesmos registros de pedidos, pressupostos de tempo e dados de teste. Reinicie o estado a cada execução para que um caso encerrado em teste anterior não mude o que o seguinte encontra.

As interações podem variar mesmo com entradas fixas. Um modelo pode escolher outro caminho em uma segunda execução, especialmente quando os dados admitem várias rotas válidas. Repita os casos de pagamento, consentimento ou transferência o suficiente para detectar instabilidade evidente. Registre o número de ocorrências e o total de tentativas. Uma transferência que falha em três testes e uma que falha em cem pedem interpretações diferentes, e nenhuma das duas estabelece a taxa de falhas em produção.

Os rastros ajudam a entender o que corrigir. Suponha que o agente diga “Consultei o seu reembolso”, mas o rastro não mostre uma consulta ao pedido. Falta fundamento para a afirmação. Se a consulta certa ocorreu, retornou “pendente” e foi resumida como “pago”, o problema é de leitura ou interpretação. Os dois erros geram mensagens parecidas para a pessoa, mas exigem correções diferentes. A NiCE Cognigy inclui execução de habilidades, chamadas de ferramentas e modelos e uso de tokens entre os dados do rastro. Atualização de produto da NiCE Cognigy

Mantenha as regras do negócio onde podem ser verificadas

A Cognigy informa que os clientes atuais podem manter Flows e Flow Agents, combiná-los com os novos AI Agents ou adotar a arquitetura mais recente, orientada a agentes. Um fluxo pode continuar responsável por uma etapa determinística, como checar consentimento, enquanto um agente cuida da conversa ao redor. O lançamento também descreve a devolução do controle ao fluxo. Isso permite que uma equipe atualize um comportamento por vez enquanto usa os caminhos já estabelecidos. Atualização de produto da NiCE Cognigy

Imagine que alguém peça um reembolso e depois solicite uma pessoa enquanto o agente ainda fala. Um modelo de conversa consegue interpretar a mudança. Um fluxo fixo pode escolher a fila e encaminhar o motivo do contato e o identificador verificado da conta, quando permitido. O teste consegue inspecionar o destino para saber se a transferência aconteceu. “Estou transferindo a sua ligação” é um sinal intermediário, e o evento na fila é a evidência da transferência.

Dê outro final à mesma ligação. A fila adequada está fechada e a ferramenta só informa que não conseguiu transferir. Examine o rastro em ordem. Ele deve mostrar se o agente escolheu a fila certa, se o destino recusou o pedido e se foi oferecido outro canal de suporte permitido. Um agente que explica bem a situação pode passar na checagem de comunicação enquanto o roteamento ainda precisa de ajuste. Se a ferramenta indicar sucesso, mas nenhum chamado chegar à fila, a equipe de suporte terá outro problema a investigar.

Ajuda usar estados cujo significado seja claro para todos. “Transferência solicitada” diz que o fluxo fez a tentativa. “Transferência aceita” diz que o destino recebeu a solicitação. “Transferência concluída” deve indicar que um atendente ou fila aprovada recebeu o contexto prometido. Registre o último estado que puder confirmar e explicite o resultado esperado do teste quando uma fila estiver fechada.

Combine esse exemplo com uma tarefa de cancelamento com limites claros. Antes de alterar a conta, o fluxo pode exigir confirmação inequívoca depois de apresentar os termos aplicáveis ao cliente. Uma ligação simulada deve parar antes da operação se a pessoa apenas pedir uma cotação. Também precisa parar se falhar um pré-requisito. Vale avaliar a conversa e a ação de forma independente, pois uma explicação educada pode acompanhar uma mudança incorreta.

A fala do cliente passa por um agente de IA, enquanto fluxos definidos conferem autorização, mudanças na conta e transferência para uma pessoa

Compare a conversa flexível com as regras de negócio que governam ações com consequências. Ilustração original da Telli.sh.

Contatos simulados e ao vivo respondem a perguntas diferentes

Simulações permitem repetir o mesmo caso em várias configurações. Isso facilita testar de novo uma falha rara e importante. Ligações reais incluem esperas, ruído de fundo, interrupções e mudanças nas ferramentas ou na equipe que os dados de teste talvez não reproduzam. Uma ligação de teste muito limpa mostra o que acontece em ambiente controlado. Planeje observar o mesmo comportamento no atendimento cotidiano.

Na voz, perceba quanto tempo a pessoa espera até a próxima resposta que ajude e se o sistema para de falar quando é interrompido. Uma resposta tecnicamente correta sobre a conta pode parecer inútil se o agente atropelar uma correção do cliente. Teste pausas curtas e longas, uma variação do pedido com outro sotaque e uma pessoa que passa de uma pergunta de estado a um pedido de transferência. O anúncio da Cognigy lista voz a voz em tempo real com alternância de falas e uso de ferramentas. O roteamento telefônico e as condições acústicas moldam a experiência de quem liga. Atualização de produto da NiCE Cognigy

No chat, revise o que ocorre quando a sessão é interrompida. O cliente pode procurar um número de pedido e voltar mais tarde. A resposta seguinte deve usar o contexto correto, quando disponível, e perguntar de novo quando a sessão já não comprovar a informação. Compare os resultados aplicando a mesma política às duas versões. Esse exercício importa em canais nos quais intervalos longos são comuns.

Escolha pelo menos uma métrica de produção para cada decisão que a simulação pretende melhorar. Menos transferências podem significar que o agente resolveu mais problemas ou que ficou mais difícil falar com alguém. Compare contatos repetidos, resultados no sistema e sucesso das transferências junto com a taxa de transferência. Confira como os casos são selecionados para que uma mudança no perfil das ligações não seja atribuída à configuração.

Comece com um teste que você explicaria ao atendente que recebe a ligação

  1. Em uma conta de teste ou ambiente elegível, escolha uma jornada e uma configuração existente como referência. Registre exatamente o que muda na candidata. Use dados sintéticos ou autorizados e integrações de teste para operações com consequências.
  2. Prepare registros iniciais repetíveis para quatro casos. Inclua reembolso já pendente, consulta indisponível, pergunta sobre cancelamento e pedido direto para falar com uma pessoa. Escreva os estados finais esperados antes de abrir as transcrições.
  3. Execute os mesmos dados de teste nas duas configurações em Multivariate Testing quando disponível. Revise em conjunto as falas, os eventos de ferramenta e os estados finais do sistema. Restaure os dados entre execuções e repita os casos sensíveis à formulação ou ao tempo.
  4. Trate erros que divulgam dados indevidos, alteram contas sem autorização ou perdem silenciosamente uma transferência solicitada como problemas distintos da redação. Rastreie a primeira etapa inesperada, corrija o componente responsável e execute de novo o cenário.
  5. Defina um período limitado para observar o tráfego ao vivo elegível. Compare os mesmos resultados e examine exemplos com os atendentes que recebem as transferências. Mantenha um caminho simples de volta à referência se houver regressão importante.

Para equipes que já usam a Cognigy, a atualização diz que os ambientes de produção recebem os recursos aos poucos e que os clientes serão avisados. Comece pela conta de teste para ver o funcionamento e confira o acesso no ambiente pretendido antes de planejar uma comparação ao vivo. Disponibilidade e contas de teste da NiCE Cognigy

Um agente de atendimento melhor deixa um registro compreensível do que disse e do que fez. Se for possível mostrar o estado do reembolso, a autorização e a fila que recebeu a ligação no mesmo teste, a equipe de suporte pode usar a comparação para escolher qual versão vai atender clientes.

Fontes


Para encontrar por busca transcrições e decisões das revisões de atendimento, crie uma conta na Telli.sh.


← Voltar ao blog