Apakah agen AI baru menangani pengembalian dana lebih baik? Uji sebelum diluncurkan
Pengujian multivariat NiCE Cognigy membandingkan agen pusat kontak sebelum deployment. Gunakan skenario pengembalian dana, pembatalan, dan pengalihan untuk menemukan masalah yang bisa luput dari demo.
Pelanggan menelepon karena retur sampai di gudang delapan hari lalu, tetapi dana belum masuk. Satu agen AI menjanjikan uang datang besok. Agen kedua memeriksa pesanan, menjelaskan bahwa pengembalian dana dimulai tetapi belum selesai, lalu mengalihkan panggilan ketika pelanggan mempermasalahkan jumlahnya. Keduanya terdengar kompeten. Sistem pesanan dan catatan pengalihanlah yang menunjukkan kejadian sebenarnya.
Pada 12 November 2026, penyedia perangkat lunak pusat kontak NiCE Cognigy memperkenalkan versi baru platform agennya. Fitur Multivariate Testing menjalankan simulasi berdampingan dengan versi agen, model bahasa, agen, atau skenario berbeda. Pengumuman juga menjelaskan jejak eksekusi untuk memeriksa keterampilan, panggilan alat, dan penggunaan model. Lingkungan baru tersedia untuk akun uji coba pada 12 November, dengan peluncuran bertahap bagi pelanggan lama mulai November. Pembaruan produk NiCE Cognigy
Mulai dengan dua versi agen yang sama pada masalah pelanggan yang sama. Pengembalian dana, pembatalan, dan permintaan berbicara dengan petugas menunjukkan hasil mana yang harus diperiksa sebelum pelanggan memakai salah satunya. Tetapkan pengalaman yang diharapkan dan periksa status sistem yang mendukungnya.
Percakapan memerlukan hasil yang bisa diuji
Pengembalian dana punya beberapa jawaban yang benar. Jika pembayaran masih tertunda, agen bisa menyebut status dan tempat memeriksa. Jika barang sudah diterima tetapi proses pengembalian dana belum dimulai, agen dapat mengikuti kebijakan atau mengalihkan ke tim yang berwenang. Jika penelepon tidak bisa membuktikan akses akun, agen harus menghindari pengungkapan status pesanan. Satu skenario bernama “pertanyaan pengembalian dana” bisa menyembunyikan ketiganya.
Tentukan catatan awal dan kondisi akhir yang diperbolehkan. Pada satu kasus, data uji menyatakan dana masih tertunda dan memiliki nomor referensi. Agen lulus jika membaca status tanpa membuat pengembalian dana kedua. Pada kasus lain, pencarian pesanan menghasilkan kesalahan. Agen lulus jika menjelaskan status belum bisa dipastikan dan memakai jalur dukungan yang tersedia. Hasil yang diharapkan berasal dari kebijakan bisnis dan keadaan sistem.
Bahasa pelanggan tetap penting. “Saya cuma ingin ini selesai” bisa menanyakan status dana, meminta pembatalan, atau menyatakan frustrasi. Sertakan variasi untuk kasus yang sama agar penilaian tidak menguntungkan satu pilihan kata. Coba permintaan pengalihan langsung dan ungkapan halus seperti “Bisakah seseorang memeriksanya bersama saya?”
Pertahankan kasus pelanggan dan bandingkan percakapan bersama hasil sistemnya. Ilustrasi asli oleh Telli.sh.
Bedakan pertanyaan dari persetujuan tindakan. Pelanggan bisa menanyakan biaya pembatalan lalu memilih tetap berlangganan. Uji bahwa agen menyebut biaya yang didukung kebijakan dan membiarkan akun aktif. Ini penting ketika panggilan alat mengubah sesuatu yang perlu dipulihkan manusia.
| Kasus | Hasil yang diharapkan | Bukti untuk peninjau |
|---|---|---|
| Pengembalian dana masih tertunda | Jelaskan keadaan saat ini tanpa membuat duplikat | Status pesanan, catatan alat, dan transkrip |
| Pelanggan menanyakan biaya pembatalan | Sebutkan biaya atau alihkan jika tidak bisa diverifikasi | Kebijakan sumber dan tidak adanya perubahan akun |
| Pelanggan meminta petugas secara langsung | Rutekan ke antrean yang tepat dan teruskan konteks yang diizinkan | Peristiwa perutean dan informasi yang diterima petugas |
| Pencarian pesanan tidak tersedia | Jelaskan status pencarian dengan akurat dan tawarkan langkah berikutnya | Kesalahan alat, ucapan kepada pengguna, dan catatan percobaan ulang atau pengalihan |
Perbandingan berdampingan lebih jelas jika hanya satu hal berubah
Pembaruan Cognigy membandingkan Snapshot, model, agen, dan skenario. Mulailah dengan mengubah satu hal. Jika model dan instruksi berubah sekaligus, jawaban lebih baik sulit dikaitkan dengan penyebabnya. Jika alur pengalihan dan model berubah bersamaan, regresi rute juga sulit ditelusuri. Satu variabel memudahkan tindak lanjut. Pembaruan produk NiCE Cognigy
Pada percobaan pertama, pertahankan kebijakan percakapan dan alat sambil membandingkan model lama dan kandidat. Setelah memilih model, bandingkan dua prompt atau konfigurasi alur. Gunakan catatan pesanan, asumsi waktu, dan data uji yang sama. Setel ulang keadaan setiap kali agar kasus yang tertutup pada percobaan sebelumnya tidak mengubah percobaan berikutnya.
Interaksi bisa bervariasi meski input sama. Model bisa memilih lain ketika beberapa rute valid. Ulangi kasus pembayaran, persetujuan, dan pengalihan untuk melihat ketidakstabilan. Catat jumlah kegagalan dan total percobaan. Satu gagal dalam tiga uji berbeda dari satu dalam seratus, dan keduanya belum menetapkan tingkat kegagalan produksi.
Jejak membantu menentukan perbaikan. Jika agen berkata “Saya memeriksa pengembalian dana” tetapi tidak ada pencarian pesanan, klaimnya tidak berlandaskan data. Jika pencarian mengembalikan “tertunda” dan agen meringkasnya menjadi “dibayar”, masalahnya pada pembacaan. Ucapannya bisa mirip, tetapi perbaikannya berbeda. Cognigy mencantumkan pelaksanaan skill, panggilan alat dan model, serta penggunaan token sebagai rincian jejak. Pembaruan produk NiCE Cognigy
Tempatkan aturan bisnis pada bagian yang bisa diverifikasi
Menurut Cognigy, pelanggan lama bisa mempertahankan Flows dan Flow Agents, menggabungkannya dengan AI Agents baru, atau mengadopsi arsitektur baru. Flow dapat tetap memiliki langkah deterministik seperti memeriksa persetujuan, sementara agen menangani percakapannya. Rilis juga menjelaskan pengembalian kendali ke Flow. Tim dapat memperbarui satu perilaku sambil mempertahankan jalur yang sudah dipakai. Pembaruan produk NiCE Cognigy
Bayangkan penelepon menanyakan dana lalu meminta petugas saat agen masih bicara. Model percakapan bisa menafsirkan perubahan itu. Alur tetap memilih antrean dan meneruskan alasan kontak serta ID akun terverifikasi bila diizinkan. Uji dari sisi penerima untuk memastikan pengalihan terjadi. “Saya akan mengalihkan Anda” adalah tanda perantara. Peristiwa antrean menjadi buktinya.
Jika antrean tutup dan alat hanya melaporkan bahwa pengalihan tidak tersedia, baca jejak secara berurutan. Periksa pilihan antrean, penolakan tujuan, dan apakah agen menawarkan jalur lain yang diperbolehkan. Agen bisa lulus pemeriksaan komunikasi sementara peruteannya masih perlu diperbaiki. Jika alat melaporkan berhasil tanpa tiket mencapai antrean, penyelidikannya berbeda.
Gunakan status yang disepakati semua orang. “Pengalihan diminta” berarti alur mencoba. “Pengalihan diterima” berarti tujuan menerima. “Serah terima selesai” berarti petugas atau antrean resmi memperoleh konteks yang dijanjikan. Catat status terakhir yang terverifikasi dan tetapkan hasil yang diharapkan ketika antrean tutup.
Pasangkan dengan pembatalan yang dibatasi. Sebelum mengubah akun, minta konfirmasi jelas setelah ketentuan ditampilkan. Simulasi perlu berhenti sebelum operasi jika pelanggan hanya bertanya harga atau prasyarat gagal. Nilai ucapan dan tindakan terpisah karena penjelasan sopan bisa menyertai perubahan status yang keliru.
Bandingkan percakapan yang fleksibel dengan pemeriksaan bisnis untuk tindakan berdampak. Ilustrasi asli oleh Telli.sh.
Kontak simulasi dan nyata menjawab pertanyaan berbeda
Simulasi memutar ulang kasus yang sama pada beberapa konfigurasi dan memudahkan pengujian kegagalan langka. Panggilan produksi membawa waktu tunggu nyata, bising, interupsi, serta perubahan alat atau staf yang mungkin tidak ditiru data uji. Panggilan bersih menunjukkan kondisi terkendali. Rancang pengamatan langsung untuk melihat perilaku pada pemakaian biasa.
Untuk suara, dengarkan waktu sampai respons bermakna dan apakah agen berhenti ketika disela. Jawaban akun benar bisa tetap mengganggu jika menimpa koreksi. Uji jeda pendek dan panjang, aksen berbeda untuk permintaan yang sama, dan perpindahan dari pertanyaan status ke permintaan petugas. Cognigy menyebut dukungan suara-ke-suara waktu nyata dengan pengaturan giliran dan penggunaan alat. Perutean telepon dan kondisi suara membentuk pengalaman penelepon. Pembaruan produk NiCE Cognigy
Untuk chat, periksa ketika sesi terputus. Pelanggan bisa mencari nomor pesanan dan kembali belakangan. Balasan perlu memakai konteks jika tersedia dan bertanya lagi jika sesi tidak lagi cukup membuktikan informasi. Bandingkan kedua versi dengan kebijakan yang sama. Ini penting ketika jeda panjang lazim pada kanal tersebut.
Pilih satu ukuran produksi untuk tiap keputusan yang ingin diperbaiki. Jumlah pengalihan yang turun bisa berarti masalah lebih sering selesai atau pelanggan lebih sulit mencapai petugas. Bandingkan kontak ulang, hasil sistem, dan keberhasilan serah terima bersama tingkat pengalihan. Periksa pengambilan sampel agar perbedaan jenis panggilan tidak dianggap hasil konfigurasi.
Mulai dari pengujian yang bisa dijelaskan kepada petugas penerima
- Pada lingkungan uji coba atau pelanggan yang memenuhi syarat, pilih satu alur pelanggan dan konfigurasi dasar. Catat perubahan kandidat. Gunakan data sintetis atau yang diizinkan dan integrasi uji untuk tindakan berdampak.
- Siapkan keadaan awal yang bisa diulang untuk empat kasus. Masukkan pengembalian dana tertunda, pencarian tidak tersedia, pertanyaan pembatalan, dan permintaan petugas. Tulis hasil akhir sebelum membaca transkrip.
- Gunakan data uji yang sama pada dua konfigurasi di Multivariate Testing jika tersedia. Tinjau ucapan, peristiwa alat, dan status akhir bersama. Setel ulang data dan ulangi kasus sensitif terhadap kata atau waktu.
- Pisahkan pengungkapan yang salah, perubahan akun tanpa izin, atau pengalihan yang diam-diam hilang dari masalah kata-kata. Telusuri langkah pertama yang menyimpang dan perbaiki bagian yang mengendalikannya sebelum mengulang kasus.
- Tetapkan periode pengamatan terbatas pada lalu lintas yang memenuhi syarat. Bandingkan hasil yang sama dan periksa contoh bersama petugas penerima. Pertahankan cara mudah kembali ke konfigurasi dasar jika perilaku penting memburuk.
Untuk tim perusahaan yang memakai Cognigy, pembaruan menyatakan fitur masuk ke produksi secara bertahap dan pelanggan akan diberi tahu. Mulai dari uji coba untuk melihat rancangan dan konfirmasi akses pada lingkungan tujuan sebelum membandingkan panggilan langsung. Ketersediaan dan uji coba NiCE Cognigy
Agen pusat kontak yang lebih baik meninggalkan catatan yang jelas tentang ucapan dan tindakan. Jika status dana, langkah otorisasi, dan antrean penerima bisa ditunjukkan pada uji yang sama, tim dukungan punya dasar memilih versi untuk pelanggan.
Sumber
- Pengumuman platform NiCE Cognigy, 12 November 2026, beserta tangkapan layar dan rincian peluncuran
- Latar belakang perusahaan dan produk NiCE Cognigy
Untuk menyimpan transkrip dan keputusan peninjauan dukungan agar dapat ditelusuri, buat akun Telli.sh.