AI Tools8 мин чтения

Справится ли новый ИИ-агент с тем же возвратом лучше? Проверьте до запуска

Многовариантное тестирование NiCE Cognigy сравнивает агентов контакт-центра до внедрения. Сценарии возврата, отмены и перевода звонка обнаруживают проблемы, которые легко пропустить на демонстрации.

K
Ken Jo

Покупательница звонит: возвращённый товар поступил на склад восемь дней назад, а деньги так и не пришли. Один ИИ-агент обещает, что деньги поступят завтра. Другой проверяет заказ, объясняет, что возврат средств начат, но платёж ещё не завершён, и переводит звонок, когда клиентка оспаривает сумму. Оба звучат убедительно. Только система заказов и запись о переводе показывают, что действительно произошло.

12 ноября 2026 года поставщик ПО для контакт-центров NiCE Cognigy представил новую версию агентной платформы. Функция Multivariate Testing параллельно запускает симуляции с разными версиями агентов, языковыми моделями, агентами или сценариями. В объявлении также описаны трассировки для проверки работы навыков, вызовов инструментов и использования моделей. Новая среда стала доступна в пробных аккаунтах 12 ноября, а постепенное внедрение среди действующих клиентов началось в ноябре. Обновление продукта NiCE Cognigy

Для первого сравнения полезно дать двум версиям одного агента одну и ту же проблему. Возврат средств, отмена услуги и просьба позвать человека показывают, какие исходы проверить до допуска версий к звонкам. Начните с того, что должно произойти для клиента, а затем проверьте состояние системы, подтверждающее этот результат.

Результат разговора должен поддаваться проверке

В примере с возвратом возможны разные правильные ответы. Если платёж ещё ожидается, агент может сообщить статус и объяснить, где его отслеживать. Если товар поступил, а возврат средств ещё не начался, возможно, нужно следовать действующим правилам или перевести звонок команде с нужными правами. Если позвонивший не подтвердил доступ к аккаунту, агенту следует воздержаться от раскрытия статуса заказа. Один сценарий под названием «вопрос о возврате» легко скрывает все три решения.

Для каждого теста задайте чёткую исходную запись и допустимое конечное состояние. В одном случае тестовые данные показывают, что возврат уже ожидается и имеет номер. Агент проходит тест, если читает статус и не создаёт второй возврат. В другом случае при поиске заказа система возвращает ошибку. Агент должен объяснить, что не смог подтвердить статус, и направить запрос по доступному каналу поддержки. Ожидаемый результат определяется правилами бизнеса и состоянием системы.

Слова позвонившего тоже важны. «Я просто хочу, чтобы это закончилось» может означать вопрос о возврате, желание что-то отменить или недовольство ожиданием. Возьмите несколько формулировок одного случая, чтобы тест не поощрял точное совпадение с единственной записью разговора. Используйте и прямую просьбу перевести звонок, и более мягкую фразу, например «Может кто-нибудь посмотреть это вместе со мной?».

Один клиентский сценарий запускается на двух конфигурациях агента, после чего сравниваются стенограммы и состояния заказа

Оставьте клиентский сценарий прежним и сравните разговор вместе с результатом в системе. Иллюстрация Telli.sh.

В действующем контакт-центре важно отличать вопрос от разрешения на действие. Клиент может спросить, во сколько обойдётся отмена, а затем решить сохранить услугу. Хороший тест проверяет, что агент называет подтверждённую сумму и оставляет аккаунт активным. Особенно это важно, когда вызов инструмента приводит к заметному изменению, которое человеку пришлось бы отменять.

СценарийЧто должно произойтиДоказательство для проверки
Возврат уже ожидаетсяСообщить текущий статус без повторного возвратаСтатус заказа, запись вызовов инструментов и стенограмма
Клиент спрашивает о плате за отменуНазвать сумму или перевести запрос, если её нельзя подтвердитьИсходные правила и отсутствие изменений в аккаунте
Клиент прямо просит позвать человекаНаправить запрос в подходящую очередь и передать разрешённый контекстСобытие маршрутизации и данные, полученные оператором
Поиск заказа недоступенТочно описать состояние проверки и предложить следующий шагОшибка инструмента, сообщение клиенту и запись повторной попытки или перевода, если они были

Сравнение проще понять, если меняется только один фактор

В обновлении Cognigy описано сравнение Snapshots, моделей, агентов и сценариев. Начните с одного изменения. Если одновременно заменить модель и её инструкции, улучшившийся ответ мало скажет о причине. Если одновременно изменить сценарий перевода и модель, будет трудно найти источник проблемы маршрутизации. Изменение одного фактора облегчает работу с результатом. Обновление продукта NiCE Cognigy

В практическом первом прогоне можно оставить прежние правила разговора и инструменты и сравнить действующую модель с кандидатом. Когда одна версия выглядит перспективно, сравните на ней две настройки инструкций или потока. Каждый раз используйте одни и те же записи заказов, предположения о времени и тестовые данные. Сбрасывайте состояние перед каждым прогоном, чтобы закрытый случай из прошлого теста не менял следующий.

Даже при одинаковом входе взаимодействия могут отличаться. Модель при втором запуске может выбрать другой путь, особенно если данные допускают несколько верных вариантов. Повторите случаи платежей, согласия и перевода достаточно раз, чтобы заметить явную нестабильность. Записывайте количество случаев и общее число попыток. Один сбой перевода на три теста и один на сто требуют разной интерпретации. Ни один из примеров не устанавливает частоту сбоев в эксплуатации.

Трассировка подсказывает, что исправлять. Допустим, агент сказал «Я проверил ваш возврат», но в трассировке нет поиска заказа. Значит, утверждение не опирается на данные. Если нужный поиск состоялся, вернул «ожидается», а агент сказал «выплачено», проблема возникла при чтении или толковании. Для клиента сообщения похожи, но исправления потребуются разные. NiCE Cognigy включает в трассировку выполнение навыков, вызовы инструментов и моделей и расход токенов. Обновление продукта NiCE Cognigy

Оставьте бизнес-правила в части системы, которую можно проверить

По данным Cognigy, действующие клиенты могут сохранить Flows и Flow Agents, объединить их с новыми AI Agents или перейти на новую архитектуру, в которой ведущую роль выполняют агенты. Поток может отвечать за детерминированный шаг, например проверку согласия, а агент ведёт разговор вокруг этого шага. В обновлении также описан возврат управления потоку. Команда может поменять одно поведение, продолжая использовать существующие маршруты. Обновление продукта NiCE Cognigy

Представьте, что клиент просит возврат средств, а затем, пока агент говорит, просит позвать человека. Разговорная модель может понять смену намерения. Заданный поток может выбрать очередь и передать причину обращения и подтверждённый идентификатор аккаунта, когда это разрешено. Тест может проверить сторону получателя и установить, состоялся ли перевод. Фраза «Я перевожу ваш звонок» служит промежуточным сигналом, а событие в очереди подтверждает перевод.

Теперь представьте другой конец разговора. Нужная очередь закрыта, и инструмент сообщает лишь, что перевод недоступен. Просмотрите трассировку по порядку. Она должна показать, выбрал ли агент ожидаемую очередь, отклонила ли она запрос и был ли предложен другой разрешённый способ обращения. Агент, который правильно объяснил ситуацию, может пройти проверку коммуникации, хотя маршрутизация ещё требует работы. Если инструмент сообщает об успехе, но в очередь ничего не поступает, команде поддержки нужно разбираться с другой проблемой.

Полезно договориться о значениях статусов. «Перевод запрошен» означает, что поток сделал попытку. «Перевод принят» означает, что адресат получил запрос. «Передача завершена» должно означать, что оператор или утверждённая очередь получили обещанный контекст. Записывайте последнее состояние, которое удалось подтвердить, и явно указывайте ожидаемый результат для закрытой очереди.

Добавьте к этому примеру отмену услуги с чёткими ограничениями. Прежде чем менять аккаунт, поток может показать клиенту действующие условия и потребовать явного согласия. Симуляция должна остановиться до операции, если клиент лишь просит назвать цену. При невыполнении обязательного условия операция также не должна происходить. Здесь полезно проверять разговор и действие по отдельности, поскольку вежливое объяснение может сопровождаться ошибочным изменением.

Речь клиента обрабатывает ИИ-агент, а заданные потоки проверяют разрешение, действия с аккаунтом и перевод оператору

Сопоставьте гибкий разговор и бизнес-проверки, которые регулируют действия с последствиями. Иллюстрация Telli.sh.

Симуляции и реальные обращения отвечают на разные вопросы

В симуляциях удобно повторять один сценарий на разных конфигурациях. Так проще снова проверить редкий, но важный сбой. В реальных звонках встречаются ожидание, фоновый шум, перебивания и изменения в инструментах или работе операторов, которые тестовые данные могут не воспроизвести. Очень чистый тестовый звонок показывает, что происходит в контролируемой среде. Спланируйте наблюдение за тем же поведением в обычных обращениях.

В голосовом канале слушайте, как долго человек ждёт следующего содержательного ответа и перестаёт ли система говорить, когда её перебивают. Даже технически верный ответ об аккаунте может оказаться бесполезным, если агент не даёт клиенту поправить его. Проверьте короткие и длинные паузы, тот же запрос с другим акцентом и переход от вопроса о статусе к просьбе о переводе. В объявлении Cognigy упоминается голосовое взаимодействие в реальном времени с чередованием реплик и вызовами инструментов. Маршрутизация телефонии и акустические условия повлияют на опыт позвонивших. Обновление продукта NiCE Cognigy

В чате проверьте, что происходит после перерыва в сессии. Клиент может уйти искать номер заказа и вернуться позже. Следующий ответ должен использовать правильный контекст, когда тот доступен, и переспросить, когда сессия уже не подтверждает сведения. Сравните эти результаты по одинаковым правилам для обеих версий. Это важно для каналов, в которых длительные паузы привычны.

Для каждого решения, которое призвана улучшить симуляция, выберите хотя бы один показатель в эксплуатации. Если переводов стало меньше, агент мог решать больше проблем, а клиентам могло стать сложнее добраться до человека. Вместе с долей переводов сравнивайте повторные обращения, результаты в системе и успешность передачи. Проверьте, как выбираются случаи, чтобы изменение состава звонков не приписали новой конфигурации.

Начните с теста, который смогли бы объяснить принимающему оператору

  1. В пробной или подходящей клиентской среде выберите один сценарий обслуживания и действующую конфигурацию как исходную. Запишите, что именно меняется в кандидате. Используйте синтетические или разрешённые данные и тестовые интеграции для операций с последствиями.
  2. Подготовьте воспроизводимые начальные записи для четырёх случаев. Возьмите ожидающий возврат, недоступный поиск, вопрос об отмене и прямую просьбу позвать человека. Запишите ожидаемые конечные состояния до открытия любой стенограммы.
  3. Запустите одинаковые тестовые данные для двух конфигураций в Multivariate Testing, где функция доступна. Вместе просмотрите реплики, события инструментов и конечные состояния. Сбрасывайте данные между прогонами и повторяйте случаи, чувствительные к словам или времени.
  4. Рассматривайте раскрытие неверной информации, изменение аккаунта без разрешения и потерю запрошенного перевода как проблемы, отличные от неудачной формулировки. Найдите первый неожиданный шаг, исправьте отвечающий за него компонент и повторите конкретный сценарий.
  5. Установите ограниченный период наблюдения на подходящих реальных обращениях. Сравните те же исходы и просмотрите примеры вместе с операторами, принимающими переводы. Сохраните простой способ вернуться к исходной версии при существенном ухудшении поведения.

Командам, уже использующим Cognigy, в обновлении обещана постепенная доставка возможностей в рабочие среды с уведомлением клиентов. Начните с пробной среды, чтобы увидеть устройство платформы, и проверьте доступ в целевой среде перед планированием сравнения на реальных звонках. Доступность и пробная среда NiCE Cognigy

Хороший агент контакт-центра оставляет понятную запись того, что сказал и сделал. Если один тест показывает состояние возврата, шаг авторизации и принимающую очередь, команда поддержки сможет использовать сравнение, чтобы решить, какая версия будет работать с клиентами.

Источники


Чтобы находить стенограммы и решения по проверкам обслуживания, создайте аккаунт Telli.sh.


← Вернуться в блог