AI Tools7 min czytania

Czy nowy agent AI lepiej obsłuży ten sam zwrot? Sprawdź przed wdrożeniem

Testy wielowariantowe NiCE Cognigy porównują agentów centrum obsługi przed wdrożeniem. Zwrot, anulowanie i przekazanie do człowieka ujawniają błędy, których nie widać w pokazie.

K
Ken Jo

Klient dzwoni, bo zwracany towar dotarł do magazynu osiem dni temu, a pieniędzy nadal nie widać. Pierwszy agent AI obiecuje przelew na jutro. Drugi sprawdza zamówienie, wyjaśnia, że zwrot pieniędzy rozpoczęto, lecz jeszcze go nie rozliczono, i przekazuje połączenie po zakwestionowaniu kwoty. Obaj brzmią kompetentnie. Dopiero system zamówień i zapis przekazania mówią, co się wydarzyło.

12 listopada 2026 roku NiCE Cognigy, dostawca oprogramowania do centrów obsługi, pokazał nową wersję swojej platformy agentowej. Funkcja Multivariate Testing uruchamia równoległe symulacje z różnymi wersjami agenta, modelami językowymi, agentami lub scenariuszami. Ogłoszenie opisuje także ślady działania służące do sprawdzania umiejętności, wywołań narzędzi i użycia modeli. Nowe środowisko pojawiło się na kontach próbnych 12 listopada, a stopniowe wdrażanie u dotychczasowych klientów zaczęło się w listopadzie. Aktualizacja produktowa NiCE Cognigy

Pierwsze przydatne porównanie to dwie wersje tego samego agenta z tym samym problemem klienta. Zwrot pieniędzy, anulowanie i prośba o człowieka pokazują, które wyniki sprawdzić przed udostępnieniem wersji dzwoniącym. Zacznij od doświadczenia klienta i sprawdź odpowiadający mu stan systemu.

Rozmowa wymaga wyniku, który da się sprawdzić

Przy zwrocie pieniędzy może istnieć kilka poprawnych odpowiedzi. Jeśli płatność oczekuje, agent może podać stan i wyjaśnić, gdzie go sprawdzać. Jeśli zwracany towar odebrano, ale zwrotu środków nie rozpoczęto, agent może potrzebować zastosować regułę lub przekazać sprawę uprawnionemu zespołowi. Jeśli rozmówca nie potwierdzi dostępu do konta, agent nie powinien ujawniać stanu zamówienia. Jeden scenariusz nazwany „pytaniem o zwrot” może ukryć wszystkie trzy decyzje.

Nadaj każdej próbie jasny stan początkowy i dopuszczalny stan końcowy. W jednym przypadku dane testowe pokazują oczekujący zwrot z numerem referencyjnym. Agent zalicza próbę, jeśli odczyta stan i nie tworzy drugiego zwrotu. W osobnym przypadku system zwraca błąd przy wyszukiwaniu zamówienia. Agent powinien wyjaśnić, że nie potwierdził stanu, i skorzystać z dostępnej ścieżki wsparcia. Oczekiwany wynik wynika z zasad firmy i stanu systemu.

Znaczenie ma także język rozmówcy. „Chcę po prostu mieć to z głowy” może oznaczać pytanie o zwrot, chęć anulowania albo frustrację oczekiwaniem. Użyj kilku wersji tego samego przypadku, żeby test nie premiował słów z jednej transkrypcji. Sprawdź wprost wyrażoną prośbę o przekazanie i łagodniejsze „Czy ktoś mógłby to ze mną sprawdzić?”.

Ten sam przypadek klienta uruchomiono w dwóch konfiguracjach agenta i porównano transkrypcje oraz stany zamówienia

Użyj tego samego przypadku i porównaj razem rozmowę oraz wynik w systemie. Ilustracja Telli.sh.

W centrum obsługi przydaje się rozróżnienie pytania i zgody na działanie. Klient może zapytać o opłatę za anulowanie, a następnie zatrzymać usługę. Test sprawdza, czy agent podaje potwierdzoną kwotę i pozostawia konto aktywne. Jest to szczególnie ważne, gdy narzędzie zmienia stan, który pracownik musiałby później przywrócić.

PrzypadekCo powinno się wydarzyćDowód dla osoby sprawdzającej
Zwrot już oczekujeWyjaśnij bieżący stan bez tworzenia duplikatuStan zamówienia, zapis wywołań i transkrypcja
Klient pyta o opłatę za anulowaniePodaj opłatę lub przekaż sprawę, jeśli nie da się jej sprawdzićReguła źródłowa i brak zmiany konta
Klient wprost prosi o człowiekaSkieruj do właściwej kolejki i przekaż dozwolony kontekstZdarzenie routingu i informacje odebrane przez konsultanta
Wyszukiwanie zamówienia niedostępneZgodnie z prawdą opisz wynik wyszukiwania i podaj następny krokBłąd narzędzia, komunikat i zapis ponowienia lub przekazania

Porównanie obok siebie najłatwiej odczytać przy jednej zmianie

Aktualizacja Cognigy opisuje porównania migawek Snapshots, modeli, agentów i scenariuszy. Zacznij od zmiany jednego elementu. Jeśli zmienisz model razem z instrukcją, lepsza odpowiedź nie wskaże, która zmiana pomogła. Gdy jednocześnie zmienisz przekazanie i model, trudniej będzie przypisać błąd routingu. Jedna zmienna ułatwia wykorzystanie wyniku. Aktualizacja produktowa NiCE Cognigy

W pierwszym przebiegu zachowaj zasady rozmowy i narzędzia, porównując obecny i nowy model. Gdy jedna wersja wypada obiecująco, porównaj na niej dwie instrukcje lub konfiguracje przepływu. Używaj tych samych zamówień, założeń czasowych i danych testowych. Przywracaj stan między próbami, żeby zamknięta wcześniej sprawa nie zmieniła następnego przebiegu.

Nawet przy stałych wejściach interakcje mogą się różnić. Model może przy drugim podejściu wybrać inną drogę, zwłaszcza gdy dane dopuszczają kilka prawidłowych. Powtórz przypadki płatności, zgody lub przekazania na tyle, by wychwycić wyraźną niestabilność. Podaj liczniki i mianowniki. Jedno nieudane przekazanie w trzech testach i jedno w stu oznaczają coś innego. Żadne nie ustala częstości awarii na żywo.

Ślad pomaga znaleźć przyczynę regresji. Jeśli agent mówi „Sprawdziłem zwrot”, ale ślad nie zawiera wyszukania zamówienia, odpowiedź nie ma oparcia. Jeśli narzędzie zwróciło „oczekuje”, a agent powiedział „zapłacono”, problem dotyczy interpretacji. Klient może usłyszeć podobny błąd, lecz naprawy są różne. NiCE Cognigy wymienia w śladach wykonanie umiejętności, wywołania narzędzi i modeli oraz zużycie tokenów. Aktualizacja produktowa NiCE Cognigy

Utrzymuj reguły biznesowe w części, którą da się zweryfikować

Według Cognigy dotychczasowi klienci mogą zachować Flows i Flow Agents, łączyć je z nowymi AI Agents lub przyjąć nowszą architekturę agentową. Przepływ może odpowiadać za deterministyczny krok, np. sprawdzenie zgody, a agent obsługiwać rozmowę wokół niego. Aktualizacja opisuje też oddanie kontroli z powrotem do przepływu. Zespół może zmienić pojedyncze zachowanie, używając sprawdzonych ścieżek. Aktualizacja produktowa NiCE Cognigy

Wyobraź sobie klienta pytającego o zwrot, który prosi o człowieka, gdy agent jeszcze mówi. Model może zrozumieć zmianę intencji. Stały przepływ przekazania może wybrać kolejkę i przesłać powód kontaktu oraz zweryfikowany identyfikator konta, jeśli wolno. Test może sprawdzić stronę odbierającą i potwierdzić przekazanie. „Przełączam” to komunikat pośredni, a zdarzenie w kolejce jest dowodem operacji.

Zmień zakończenie. Właściwa kolejka jest zamknięta, a narzędzie odpowiada tylko, że przekazanie było niedostępne. Przejrzyj ślad po kolei. Sprawdź, czy agent wybrał właściwą kolejkę, czy miejsce docelowe odrzuciło żądanie i czy zaproponowano inną dozwoloną ścieżkę. Agent może poprawnie wyjaśnić sytuację, mimo że konfiguracja przekazania wymaga naprawy. Gdy narzędzie zgłasza sukces, ale do kolejki nic nie dochodzi, zespół ma inny problem do zbadania.

Stosuj stany o uzgodnionym znaczeniu. „Zażądano przekazania” oznacza próbę. „Przyjęto przekazanie” oznacza, że miejsce docelowe je odebrało. „Przekazanie zakończone” powinno oznaczać, że konsultant lub zatwierdzona kolejka dostały obiecane informacje. Zapisz ostatni potwierdzony stan i określ oczekiwany wynik, gdy kolejka jest zamknięta.

Połącz przykład z zadaniem anulowania o ograniczonym zakresie. Przed zmianą konta proces może wymagać jednoznacznego potwierdzenia po pokazaniu warunków. Symulacja ma się zatrzymać przed operacją, gdy klient pyta jedynie o koszt lub gdy nie spełniono warunku wstępnego. Oddziel ocenę rozmowy od oceny działania, bo uprzejme wyjaśnienie może towarzyszyć błędnej zmianie stanu.

Wypowiedź klienta trafia do agenta AI, a zdefiniowane przepływy sprawdzają zgodę, działania na koncie i przekazanie do człowieka

Porównaj elastyczną rozmowę z regułami biznesowymi ograniczającymi działania o istotnych skutkach. Ilustracja Telli.sh.

Symulacje i prawdziwe rozmowy odpowiadają na inne pytania

Symulacja pozwala odtworzyć ten sam przypadek w różnych konfiguracjach i powtórzyć rzadki, ważny błąd. Rozmowy na żywo wprowadzają kolejki, hałas, przerwania oraz zmiany narzędzi lub obsady, których dane testowe mogą nie oddać. Wyjątkowo czysta rozmowa pokazuje warunki kontrolowane. Zaplanuj obserwację w praktyce, aby zobaczyć zachowanie w zwykłym użyciu.

W rozmowach głosowych sprawdź czas do kolejnej użytecznej wypowiedzi i czy system przerywa, gdy ktoś wchodzi w słowo. Poprawna odpowiedź o koncie może niewiele pomóc, jeśli agent zagłusza poprawkę. Sprawdź krótkie i długie pauzy, tę samą prośbę z innym akcentem i zmianę z pytania o stan na prośbę o człowieka. Ogłoszenie Cognigy wymienia rozmowę głosową w czasie rzeczywistym, kolejność wypowiedzi i użycie narzędzi. Na doświadczenie rozmówcy wpłynie także telefonia i akustyka. Aktualizacja produktowa NiCE Cognigy

Na czacie sprawdź przerwę w sesji. Klient może poszukać numeru zamówienia i wrócić później. Kolejna odpowiedź powinna użyć poprawnego kontekstu, gdy jest dostępny, a ponowić pytanie, gdy sesja już go nie potwierdza. Porównaj wersje według jednej reguły. To ważne w kanałach, w których długa przerwa jest zwykłym zachowaniem.

Do każdej decyzji, którą ma poprawić symulacja, dobierz co najmniej jedną miarę produkcyjną. Mniej przekazań może oznaczać więcej rozwiązanych spraw albo trudniejszy dostęp do człowieka. Obok częstości przekazań porównaj powtórne kontakty, wyniki w systemie i skuteczność przekazania. Sprawdź dobór próbki, aby zmiany rodzaju rozmów nie przypisać konfiguracji.

Zacznij od testu, który da się wyjaśnić konsultantowi odbierającemu

  1. W dostępnym środowisku próbnym lub klienckim wybierz jedną ścieżkę klienta i istniejącą konfigurację odniesienia. Zapisz, co zmienia kandydat. Użyj danych syntetycznych lub zatwierdzonych i testowych integracji do operacji ze skutkami.
  2. Przygotuj odtwarzalne dane początkowe dla czterech przypadków. Uwzględnij oczekujący zwrot, niedostępne wyszukiwanie, pytanie o anulowanie i wprost wyrażoną prośbę o człowieka. Zapisz stany końcowe przed przeczytaniem transkrypcji.
  3. Uruchom te same dane w obu konfiguracjach w Multivariate Testing, jeśli funkcja jest dostępna. Sprawdź razem wypowiedzi, zdarzenia narzędzi i stany końcowe. Przywracaj dane i powtarzaj przypadki wrażliwe na słowa lub czas.
  4. Oddziel ujawnienie niewłaściwych danych, nieuprawnioną zmianę konta lub zagubione przekazanie od błędu sformułowania. Znajdź pierwszy nieoczekiwany krok i popraw odpowiedzialny element przed ponowieniem tej próby.
  5. Ustal ograniczony okres obserwacji kwalifikującego się ruchu na żywo. Porównaj te same wyniki i omów przykłady z konsultantami odbierającymi przekazania. Zachowaj prosty powrót do wersji odniesienia na wypadek ważnej regresji.

Według aktualizacji funkcje trafiają do środowisk produkcyjnych Cognigy stopniowo, a klienci otrzymają powiadomienie. Jeśli chcesz zobaczyć mechanizm, zacznij od wersji próbnej. Przed zaplanowaniem porównania na żywo potwierdź dostęp w docelowym środowisku. Dostępność i próba NiCE Cognigy

Lepszy agent pozostawia zrozumiały zapis tego, co powiedział i zrobił. Jeśli dla jednego testu pokażesz stan zwrotu, krok autoryzacji i kolejkę odbiorczą, zespół może wykorzystać porównanie do decyzji, która wersja ma rozmawiać z klientami.

Źródła


Aby można było wyszukiwać transkrypcje i decyzje z przeglądów obsługi, załóż konto Telli.sh.


← Wróć do bloga