AI Tools9 minit bacaan

Adakah ejen AI baharu lebih baik mengendalikan bayaran balik yang sama? Uji sebelum pelancaran

Ujian multivariat NiCE Cognigy membandingkan ejen pusat hubungan sebelum pelaksanaan. Gunakan senario bayaran balik, pembatalan dan serahan kepada petugas untuk mencari perkara yang terlepas dalam demo.

K
Ken Jo

Seorang pelanggan menelefon kerana barang pulangannya tiba di gudang lapan hari yang lalu tetapi bayaran balik masih belum diterima. Ejen AI pertama berjanji wang itu akan tiba esok. Ejen kedua memeriksa pesanan, menjelaskan bayaran balik telah dimulakan tetapi belum selesai dan memindahkan panggilan apabila pelanggan mempertikaikan jumlahnya. Kedua-duanya kedengaran cekap. Sistem pesanan dan rekod serahan menunjukkan perkara yang benar-benar berlaku.

Pada 12 November 2026, penyedia perisian pusat hubungan NiCE Cognigy memperkenalkan versi baharu platform ejennya. Ciri Multivariate Testing menjalankan simulasi secara berdampingan dengan versi ejen, model bahasa, ejen atau senario yang berbeza. Pengumuman turut menerangkan rekod jejak ejen untuk memeriksa kemahiran, panggilan alat dan penggunaan model. Persekitaran baharu tersedia dalam akaun percubaan pada 12 November, dengan pelancaran berperingkat kepada pelanggan sedia ada bermula pada bulan November. Kemas kini produk NiCE Cognigy

Perbandingan pertama yang berguna menggunakan dua versi ejen yang sama pada masalah pelanggan yang sama. Senario bayaran balik, pembatalan dan permintaan bercakap dengan seseorang menunjukkan hasil yang perlu disahkan sebelum mana-mana versi digunakan dengan pemanggil. Mulakan dengan kelakuan yang patut dialami pelanggan dan periksa keadaan sistem yang menyokongnya.

Perbualan memerlukan hasil yang boleh diuji

Contoh bayaran balik mempunyai beberapa jawapan yang mungkin betul. Jika pembayaran masih belum selesai, ejen boleh menyatakan status itu dan menerangkan tempat untuk menyemaknya. Jika barang pulangan sudah diterima tetapi bayaran balik belum dimulakan, ejen mungkin perlu mengikut dasar sedia ada atau menyerahkan kes kepada pasukan yang berhak bertindak. Jika pemanggil tidak dapat mengesahkan akses kepada akaun, ejen patut mengelak daripada mendedahkan status pesanan. Satu senario bernama «pertanyaan bayaran balik» boleh menyembunyikan ketiga-tiga keputusan ini.

Berikan setiap ujian rekod permulaan dan keadaan akhir yang dibenarkan. Dalam satu kes, data ujian menunjukkan bahawa bayaran balik masih belum selesai dan sudah mempunyai nombor rujukan. Ejen yang lulus membaca status dan tidak membuat bayaran balik kedua. Dalam kes lain, sistem memulangkan ralat apabila ejen mencari pesanan. Ejen yang lulus menerangkan bahawa status tidak dapat disahkan dan menghalakan permintaan melalui saluran sokongan yang tersedia. Hasil yang dijangka datang daripada dasar perniagaan dan keadaan sistem.

Bahasa pemanggil juga penting. «Saya cuma nak selesaikan perkara ini» mungkin bermaksud dia mahu tahu status bayaran balik, mahu membatalkan sesuatu atau kecewa kerana menunggu. Masukkan variasi bagi kes yang sama supaya ujian tidak sekadar memberi ganjaran kepada padanan ayat tepat dalam satu transkrip. Gunakan permintaan pindahan yang terus terang dan permintaan lebih lembut seperti «Boleh tak seseorang semak perkara ini dengan saya?»

Senario pelanggan yang sama dijalankan pada dua konfigurasi ejen, kemudian transkrip dan keadaan pesanan dibandingkan

Kekalkan kes pelanggan yang sama dan bandingkan perbualan bersama hasil dalam sistem. Ilustrasi asal oleh Telli.sh.

Bagi pusat hubungan langsung, penting juga untuk membezakan soalan pelanggan daripada kebenaran untuk bertindak. Seseorang mungkin bertanya kos pembatalan, kemudian memilih untuk mengekalkan perkhidmatan. Ujian yang baik menyemak sama ada ejen boleh menyebut amaun yang disokong bukti dan membiarkan akaun kekal aktif. Ini amat penting apabila panggilan alat membuat perubahan nyata yang perlu dibatalkan oleh manusia jika tersilap.

KesPerkara yang sepatutnya berlakuBukti untuk penyemak
Bayaran balik sedang diprosesTerangkan status semasa tanpa mencipta bayaran balik penduaStatus pesanan, rekod panggilan alat dan transkrip
Pelanggan bertanya tentang yuran pembatalanBerikan amaun atau pindahkan permintaan apabila amaun tidak dapat disahkanDasar rujukan dan tiada perubahan pada akaun
Pelanggan jelas meminta bercakap dengan seseorangHalakan ke baris gilir yang sesuai dan sertakan konteks yang dibenarkanPeristiwa penghalaan dan maklumat serahan yang diterima petugas
Carian pesanan tidak tersediaTerangkan keadaan carian dengan tepat dan tawarkan langkah seterusnyaRalat alat, kata-kata kepada pelanggan dan rekod percubaan semula atau pindahan

Ujian berdampingan lebih mudah ditafsir apabila satu perkara berubah

Kemas kini Cognigy menerangkan perbandingan antara Snapshots, model, ejen dan senario. Mulakan dengan mengubah satu sahaja. Jika anda menukar model dan arahannya serentak, jawapan lebih baik tidak banyak memberitahu perubahan yang menyebabkannya. Jika aliran pindahan dan model berubah bersama, punca masalah penghalaan boleh sukar dikenal pasti. Mengawal pemboleh ubah menjadikan hasil lebih mudah diambil tindakan. Kemas kini produk NiCE Cognigy

Percubaan pertama yang praktikal mengekalkan dasar perbualan dan alat sambil membandingkan model sedia ada dengan model calon. Selepas menemui versi yang menjanjikan, bandingkan dua arahan atau konfigurasi aliran pada model itu. Gunakan rekod pesanan, andaian masa dan data ujian yang sama setiap kali. Pulihkan keadaan sebelum setiap ujian supaya kes yang ditutup dalam percubaan terdahulu tidak mempengaruhi percubaan seterusnya.

Interaksi ujian boleh berubah walaupun input tetap. Model mungkin membuat pilihan berbeza pada percubaan kedua, terutama apabila data ujian membenarkan beberapa laluan sah. Ulangi kes yang melibatkan pembayaran, persetujuan atau serahan sehingga ketidakstabilan yang nyata boleh dilihat. Rekodkan bilangan bersama penyebutnya. Satu serahan gagal dalam tiga ujian berbeza daripada satu dalam seratus ujian. Kedua-duanya masih belum menunjukkan kadar kegagalan sebenar dalam produksi.

Rekod jejak membantu menentukan pembaikan yang diperlukan. Andaikan ejen berkata «Saya sudah semak bayaran balik anda», tetapi jejak tidak menunjukkan carian pesanan. Masalahnya ialah dakwaan tanpa sokongan. Jika carian betul memulangkan «belum selesai» tetapi dirumuskan sebagai «sudah dibayar», masalahnya ialah bacaan atau tafsiran. Kedua-dua ralat menghasilkan mesej serupa kepada pelanggan, tetapi memerlukan pembaikan berbeza. NiCE Cognigy menyenaraikan pelaksanaan kemahiran, panggilan alat, panggilan model dan penggunaan token antara butiran jejaknya. Kemas kini produk NiCE Cognigy

Letakkan peraturan perniagaan pada bahagian yang boleh disahkan

Cognigy menyatakan pelanggan sedia ada boleh mengekalkan Flows dan Flow Agents, menggabungkannya dengan AI Agents baharu atau menggunakan seni bina baharu yang diterajui ejen. Aliran boleh terus mengawal langkah yang tetap, seperti mengesahkan persetujuan, manakala ejen mengendalikan perbualan di sekelilingnya. Keluaran itu juga menerangkan cara memulangkan kawalan kepada aliran. Reka bentuk ini memberi ruang untuk mengemas kini satu kelakuan sambil mengekalkan laluan yang sudah digunakan. Kemas kini produk NiCE Cognigy

Bayangkan pemanggil meminta bayaran balik, kemudian meminta bercakap dengan seseorang ketika ejen masih bercakap. Model perbualan boleh mentafsir perubahan itu. Aliran serahan tetap boleh memilih baris gilir dan menyampaikan sebab hubungan serta pengenal akaun yang disahkan apabila dibenarkan. Ujian boleh memeriksa pihak penerima untuk menentukan sama ada pindahan benar-benar berlaku. Ayat «Saya sedang memindahkan anda» ialah petunjuk perantaraan, manakala peristiwa dalam baris gilir ialah bukti pindahan.

Beri panggilan yang sama pengakhiran berbeza. Baris gilir yang sesuai sudah ditutup, dan alat hanya memulangkan status bahawa pindahan tidak tersedia. Semak jejak mengikut turutan. Jejak patut menunjukkan sama ada ejen memilih baris gilir yang betul, sama ada destinasi menolak permintaan dan sama ada saluran sokongan lain yang dibenarkan ditawarkan. Ejen yang menerangkan keadaan dengan tepat mungkin lulus pemeriksaan komunikasi walaupun tetapan penghalaan masih perlu diperbaik. Jika alat melaporkan kejayaan tetapi tiada tiket sampai, pasukan sokongan perlu menyiasat masalah yang berlainan.

Sebab itulah status dengan makna yang dipersetujui oleh seluruh pasukan berguna. «Pindahan diminta» bermakna aliran sudah mencuba. «Pindahan diterima» bermakna destinasi mendapat permintaan. «Serahan selesai» patut bermaksud petugas penerima atau baris gilir yang diluluskan sudah menerima konteks yang dijanjikan. Rekodkan keadaan terakhir yang boleh disahkan dan nyatakan hasil yang dijangka apabila baris gilir ditutup.

Padankan contoh itu dengan tugas pembatalan yang mempunyai syarat. Sebelum menukar akaun, aliran boleh memerlukan pengesahan jelas selepas pelanggan melihat terma yang berkenaan. Panggilan simulasi patut berhenti sebelum operasi jika pemanggil hanya meminta sebut harga. Ia juga patut berhenti apabila syarat awal gagal. Di sini, nilai perbualan dan tindakan secara berasingan. Penjelasan yang sopan masih boleh disertai perubahan keadaan yang salah.

Kata-kata pelanggan diproses oleh ejen AI, sementara kebenaran, tindakan akaun dan pindahan kepada manusia diperiksa melalui aliran yang ditetapkan

Bandingkan perbualan yang fleksibel dengan pemeriksaan perniagaan bagi tindakan yang membawa kesan. Ilustrasi asal oleh Telli.sh.

Simulasi dan hubungan langsung menjawab soalan yang berlainan

Simulasi berguna untuk memainkan semula kes yang sama pada beberapa konfigurasi. Kegagalan yang jarang tetapi penting boleh diuji semula dengan mudah. Panggilan produksi melibatkan masa menunggu sebenar, bunyi latar, gangguan dan perubahan alat atau kakitangan yang mungkin tidak dapat diwakili data ujian. Panggilan ujian yang sangat lancar hanya menunjukkan apa yang berlaku dalam keadaan terkawal. Sediakan pelan pemerhatian langsung untuk melihat prestasi kelakuan yang sama dalam penggunaan biasa.

Bagi suara, dengar berapa lama pemanggil menunggu sebelum menerima respons bermakna dan sama ada sistem berhenti bercakap apabila dicelah. Jawapan akaun yang tepat masih boleh terasa tidak membantu jika ejen bercakap semasa pelanggan cuba membetulkannya. Uji jeda pendek dan panjang, variasi permintaan dengan loghat dan pemanggil yang beralih daripada soalan status kepada permintaan pindahan. Cognigy menyenaraikan sokongan suara ke suara masa nyata, termasuk pengurusan giliran bercakap dan penggunaan alat. Penghalaan telefon dan keadaan akustik turut membentuk pengalaman pemanggil. Kemas kini produk NiCE Cognigy

Bagi sembang, semak apa yang berlaku apabila sesi terhenti. Pelanggan mungkin mencari nombor pesanan dan kembali kemudian. Respons susulan perlu menggunakan konteks yang betul apabila tersedia dan meminta maklumat semula apabila sesi tidak lagi mengesahkannya. Bandingkan hasil dengan dasar sama bagi kedua-dua versi ejen. Ini penting untuk saluran yang biasa mengalami jeda panjang.

Pilih sekurang-kurangnya satu ukuran produksi bagi setiap keputusan yang hendak ditambah baik melalui simulasi. Bilangan pindahan lebih rendah mungkin bermakna ejen menyelesaikan lebih banyak masalah atau pemanggil sukar mendapatkan bantuan manusia. Bandingkan hubungan berulang, hasil dalam sistem dan kejayaan serahan bersama kadar pindahan. Semak cara kes disampel supaya perubahan campuran panggilan tidak dianggap kesan kemas kini konfigurasi.

Mulakan dengan ujian yang boleh diterangkan kepada petugas penerima

  1. Dalam percubaan atau persekitaran pelanggan yang layak, pilih satu perjalanan pelanggan dan satu konfigurasi sedia ada sebagai garis dasar. Rekodkan perubahan khusus dalam konfigurasi calon. Gunakan data sintetik atau yang diluluskan dan integrasi ujian untuk operasi yang membawa kesan.
  2. Sediakan rekod permulaan yang boleh diulang untuk empat kes. Sertakan bayaran balik yang masih diproses, carian yang tidak tersedia, pertanyaan pembatalan dan permintaan jelas untuk bercakap dengan seseorang. Tulis keadaan akhir yang dijangka sebelum membuka mana-mana transkrip.
  3. Jalankan data ujian yang sama pada kedua-dua konfigurasi dalam Multivariate Testing jika tersedia. Semak ujaran, peristiwa alat dan keadaan akhir sistem bersama-sama. Pulihkan data antara percubaan dan ulangi kes yang sensitif terhadap kata-kata atau pemasaan.
  4. Bezakan ralat yang mendedahkan maklumat salah, mengubah akaun tanpa kebenaran atau menyebabkan permintaan pindahan hilang secara senyap daripada masalah pemilihan kata. Jejaki langkah pertama yang tidak dijangka dan baiki bahagian yang mengawalnya sebelum mengulangi senario.
  5. Tetapkan tempoh pemerhatian terhad untuk trafik langsung yang layak. Bandingkan hasil yang sama dan semak contoh dengan petugas yang menerima pindahan. Pastikan mudah untuk kembali ke garis dasar jika kelakuan penting merosot.

Bagi pasukan perusahaan yang sudah menggunakan Cognigy, kemas kini produk menyatakan bahawa ciri itu dilancarkan secara berperingkat ke persekitaran produksi dan pelanggan akan dimaklumkan. Mulakan dengan percubaan jika mahu melihat reka bentuknya dan sahkan akses dalam persekitaran sasaran sebelum merancang perbandingan langsung. Butiran ketersediaan dan percubaan NiCE Cognigy

Ejen pusat hubungan yang lebih baik meninggalkan rekod yang jelas tentang perkara yang disebut dan dilakukan. Jika anda boleh menunjukkan status bayaran balik, langkah kebenaran dan baris gilir penerima untuk ujian yang sama, pasukan sokongan mempunyai perbandingan yang boleh digunakan untuk memilih versi yang akan berurusan dengan pelanggan.

Sumber


Untuk menyimpan transkrip dan keputusan semakan sokongan dalam rekod yang boleh dicari, cipta akaun Telli.sh.


← Kembali ke blog