Transkripnya tampak benar: Confident AI membawa suara percakapan ke dalam evaluasi

Diagram editorial orisinal oleh Ken Jo, berdasarkan sumber yang tercantum di bawah.

Pelanggan bertanya, agen menjawab dengan benar, dan transkrip terlihat sempurna. Namun, rekaman menunjukkan interaksi lain: agen mulai terlalu cepat, menutupi koreksi, lalu meninggalkan keheningan panjang sebelum merespons kembali.

Pembaruan Confident AI pada 23 Oktober 2026 memasukkan lebih banyak pengalaman yang terdengar itu ke dalam evaluasi. Perusahaan mengumumkan pengklasifikasi audio langsung, tinjauan manusia, penanda waktu masalah di pemutar Observatory, dan pelacakan audio Pipecat. Fitur tersebut menghubungkan dugaan masalah dengan momen yang bisa didengar. Catatan perubahan resmi.

Confident AI menyediakan alat evaluasi dan observabilitas aplikasi AI. Rilis ini dapat dipahami melalui pertanyaan praktis: bagaimana mengubah percakapan tidak nyaman menjadi masalah yang dapat diulang? Kita akan membedakan bukti transkrip dan audio, lalu menyusun proses kecil untuk tiga skenario agen suara umum.

Gambar resmi dokumentasi Confident AI, © 2024 Confident AI Inc., Apache 2.0. Antarmuka pelacakan umum ini memperlihatkan organisasi bukti eksekusi, bukan pengklasifikasi audio baru atau pengukuran artikel ini.

Transkrip menyimpan kata, audio menyimpan interaksi

Transkrip membantu memeriksa secara ringkas apakah jawaban memuat informasi yang diharapkan. Ia dapat mengungkap tanggal salah, petunjuk hilang, atau kontradiksi. Pencarian dan perbandingan banyak percakapan juga mudah.

Audio menjawab pertanyaan lain. Apakah orangnya sudah selesai bicara? Apakah jeda itu sebenarnya waktu berpikir? Apakah cara bicara membuat kalimat benar sulit dipahami? Membaca teks yang telah dirapikan dapat menghilangkan kejadian yang justru membuat panggilan menjengkelkan.

Perbedaan ini sangat berguna ketika bukti tidak sejalan. Transkrip dapat memuat pertanyaan lengkap meski agen mulai menjawab di tengahnya. Sebaliknya, potongan teks yang canggung bisa terdengar alami sebagai tanggapan singkat. Simpan keduanya agar peninjau dapat menilai konteks.

Panduan audio menjelaskan penambahan rekaman pada pesan beserta peran dan teks, dengan pemutaran di dalam trace. Peninjau bisa berpindah antara yang ditampilkan sebagai tulisan dan yang terdengar. Dokumentasi audio, diperiksa 27 Oktober 2026.

Menurut kami, evaluasi suara memerlukan jalur kedua ini. Pertukaran lisan merupakan bagian produk sehingga teks akhir tidak mewakili seluruh kualitas. Menghubungkan rekaman dengan peristiwa aplikasi membuat pembahasan lebih presisi.

Temuan berguna memiliki waktu dan alasan

Rilis 23 Oktober menambahkan pengklasifikasi untuk mendeteksi interupsi, keheningan canggung, dan masalah penyampaian. Ada pula tahap manusia mendengarkan sebelum mengonfirmasi label. Pemutar menandai waktu masalah agar bagian terkait dapat ditemukan lagi. Alur audio baru.

Ini lebih dapat ditindaklanjuti daripada keluhan umum bahwa agen terdengar salah. Pengembang membutuhkan lokasi, deskripsi perilaku, dan konteks untuk memahami yang seharusnya terjadi. Klasifikasi memprioritaskan perhatian; klip menyediakan bukti yang dapat diperiksa.

Pertahankan perbedaan antara dugaan dan masalah terkonfirmasi. Jeda mungkin tepat ketika penelepon memeriksa referensi. Ucapan bertumpuk bisa menjadi konfirmasi bermanfaat, bukan interupsi. Label berguna jika mencerminkan harapan percakapan tim yang sesungguhnya.

Tuliskan harapan dengan bahasa biasa. Misalnya, interupsi dapat berarti agen memulai jawaban substantif ketika penelepon masih memberikan informasi, sehingga informasi hilang atau harus diulang. Ini contoh kriteria peninjauan, bukan definisi wajib produk.

Klasifikasi menemukan calon masalah. Mendengarkan dan menerapkan kriteria jelas mengubahnya menjadi temuan yang dapat ditangani.

Tiga percakapan menunjukkan bahwa waktu membutuhkan konteks

Pertimbangkan asisten janji temu. Penelepon ingin memindahkan pesanan, berhenti memeriksa kalender, lalu menyebut hari. Jika agen menawarkan jam pada jeda itu, jawabannya mungkin relevan tetapi tetap mengganggu tugas.

Dalam contoh ini, peninjau perlu mendengarkan sebelum dan sesudah interupsi. Apakah agen hanya mengakui permintaan atau menetapkan interpretasi terlalu dini? Apakah penelepon melanjutkan dengan alami atau harus memulai lagi? Pengamatan tersebut membedakan kebiasaan yang diterima dari cacat yang perlu diperbaiki.

Skenario kedua adalah dukungan produk yang belum dikenal. Agen menjawab benar, tetapi orangnya tidak yakin sudah didengar. Interval panjang tanpa tanggapan dapat membuatnya mengulang pertanyaan, lalu dianggap permintaan baru. Rekaman bersama trace membantu menemukan awal penundaan yang dirasakan.

Jangan menetapkan ambang keheningan universal dari satu contoh. Pencarian akun dan konfirmasi petunjuk sederhana menimbulkan harapan berbeda. Tentukan interaksi yang dimaksud, lalu bandingkan jeda. Pertanyaan berguna adalah apa yang secara wajar dipahami orang tersebut sedang terjadi.

Skenario ketiga adalah asisten multibahasa yang menangani alamat atau kode produk. Transkrip mungkin memuat frasa masuk akal sementara pelafalan asli menunjukkan istilah lain. Memutar kedua sisi membantu memisahkan masalah pengenalan, penafsiran, dan penyampaian.

Tidak semua kesalahan menjadi masalah pengklasifikasi audio. Aplikasi mungkin membutuhkan konfirmasi, dukungan kosakata lebih baik, atau permintaan pengulangan detail penting yang lebih jelas. Evaluasi bernilai ketika menghasilkan perubahan interaksi yang tepat, bukan upaya umum membuat agen terdengar ramah.

Menangkap trace tidak menjamin rekaman dapat diputar

Sebelum menilai audio, pastikan bukti tersedia. Dokumentasi multimodal membedakan media tertanam, tautan, dan berkas yang dihilangkan. Penangkapan panggilan model umum menyimpan gambar serta PDF tertanam yang didukung; audio memerlukan lampiran yang sesuai atau integrasi suara yang didukung. Pelacakan multimodal, diperbarui 9 Oktober 2026.

Perbedaan ini memengaruhi debugging harian. URL dalam trace adalah referensi, belum tentu salinan yang disimpan. Jika lokasinya kedaluwarsa atau peninjau tidak punya akses, trace tetap terlihat sementara bukti suara tidak tersedia. Sertakan pemutaran dalam pemeriksaan integrasi awal.

Dokumentasi menetapkan batas bawaan 5 MiB per media dan total bawaan 16 MiB per span di SDK TypeScript. Media terlalu besar dihilangkan, bukan dipotong. Karena itu, tangani rekaman besar secara sengaja; trace teks yang berhasil tiba tidak membuktikan audio ikut tersimpan. Batas media.

Panduan khusus menempatkan audio pada pesan dengan peran dan isi. Pertahankan siapa yang berbicara serta teks yang terkait. Klip pada pesan yang salah bisa membawa kesimpulan keliru meski diputar dengan baik.

Mulai dengan dua belas klip yang menjelaskan tugas

Pilot praktis dapat dimulai dengan 12 klip yang dipilih sengaja: empat interaksi biasa yang berhasil, empat kegagalan jelas, dan empat kasus ambigu untuk dibahas. Ini usulan kalibrasi tinjauan, bukan sampel representatif secara statistik atau benchmark penyedia.

Kasus ambigu sangat berharga. Kasus itu mengungkap apakah peninjau sepakat tentang interupsi, waktu tunggu wajar, dan penyampaian jelas. Jika berbeda, catat alasannya sebelum meminta pengklasifikasi otomatis meniru label yang dianggap sudah disepakati.

Gunakan prosedur berulang agar evaluasi pertama menghasilkan lebih dari sekumpulan kesan:

1. Buat proyek untuk satu penggunaan agen suara. Batasi ruang lingkup agar harapan percakapan yang sama berlaku pada semua klip.
2. Hubungkan rekaman dan transkrip ke interaksi yang sama. Gunakan lampiran terdokumentasi atau integrasi yang relevan. Pastikan kedua sisi percakapan representatif dapat diputar.
3. Periksa bukti pada batas bawaan. Cari penanda penghilangan, tautan tidak tersedia, dan pesan yang salah terkait. Perbaiki penangkapan sebelum menganggap audio hilang sebagai panggilan tanpa masalah.
4. Definisikan sedikit label tinjauan. Jelaskan tiap perilaku dengan konkret dan sertakan kasus mirip yang tetap dapat diterima.
5. Klasifikasikan dan dengarkan momen bertanda. Simpan label kandidat, keputusan terkonfirmasi, dan penjelasan. Dengarkan pula klip tanpa tanda untuk mencari masalah terlewat.
6. Ubah satu bagian relevan dan ulangi. Bandingkan kasus sama setelah perubahan, lalu tambahkan contoh baru sebelum memperluas proses.

Panduan pengklasifikasi menjelaskan bahwa deskripsi label memengaruhi klasifikasi dan hasil menjadi sinyal yang dapat difilter. Panduan umum lama dan rilis 23 Oktober membahas tahap produk berbeda; gunakan kontrol workspace saat ini untuk alur audio baru. Prinsip yang bertahan adalah menjelaskan perilaku cukup spesifik agar peninjau lain dapat memakai kriteria sama. Panduan klasifikasi.

Ukur proses tinjauan bersama agennya

Peningkatan temuan bisa berarti agen memburuk, pengklasifikasi lebih sensitif, atau percakapan lebih sulit. Jaga konfigurasi dan kumpulan panggilan yang diperiksa tetap terlihat agar tim membedakannya.

Dalam pilot, catat berapa klip bertanda yang dikonfirmasi dan berapa masalah pada klip tanpa tanda. Catat pula waktu menemukan momen relevan. Ini pengamatan proses tim tanpa klaim skor akurasi universal.

Saat perubahan memperbaiki klip, jelaskan perbaikannya. Penelepon menyelesaikan pertanyaan sebelum agen menjawab. Ia mendengar tanggapan selama pencarian. Asisten mengonfirmasi kode yang tidak pasti sebelum bertindak. Hasil konkret lebih membantu daripada pernyataan luas bahwa model terdengar alami.

Proses andal memeriksa bukti, interpretasi, dan dampak perubahan secara terpisah.

Akses dan penyimpanan rekaman termasuk desain

Rekaman bisa memuat informasi yang tidak diperlukan setiap tinjauan. Tentukan percakapan yang disimpan, siapa yang boleh mendengar, dan berapa lama bukti berguna. Gunakan kumpulan terkecil yang bermakna untuk pilot, bukan pengumpulan luas tanpa tujuan evaluasi.

Panduan data menjelaskan proyek sebagai workspace terpisah dengan data dan izin sendiri. Ini batas organisasi yang praktis: peninjau satu penggunaan tidak otomatis membutuhkan rekaman penggunaan lain. Penanganan data, diperbarui 14 Oktober 2026.

Catatan 23 Oktober juga memperkenalkan perhitungan kredit dan penyimpanan trace dalam GB-bulan. Sebelum memperluas pengumpulan, periksa paket terkini dan pemakaian nyata. Keberhasilan memasukkan data secara teknis hanya satu bagian dari proses yang terjangkau dan dapat dipelihara. Perubahan pemakaian.

Kualitas percakapan berguna ketika dapat diputar kembali

Arah menarik rilis ini menghubungkan penilaian kualitas dengan pengalaman asli. Penanda waktu, klip yang dapat diputar, dan keputusan tinjauan memberi pengembang sesuatu yang konkret untuk diperbaiki. Semuanya juga menjadi catatan untuk dikunjungi lagi setelah model atau aturan interaksi berubah.

Agen yang alami memperoleh kepercayaan sepanjang percakapan: mendengarkan, merespons pada saat tepat, dan menyelesaikan tugas dengan jelas. Nilai semuanya bersama, maka rekaman menjadi bukti untuk percakapan lebih baik, bukan sekadar berkas lain dalam pemantauan.

Sumber

• Catatan produk Confident AI, 23 Oktober 2026.
• Audio dalam trace, diperiksa 27 Oktober 2026.
• Pelacakan multimodal dan batas, diperbarui 9 Oktober, diperiksa 27 Oktober 2026.
• Tugas klasifikasi, diperbarui 6 Oktober 2026. Rilis 23 Oktober menjadi sumber fitur audio dan span baru.
• Penanganan data, diperbarui 14 Oktober 2026.
• Gambar resmi dan repositori, lisensi Apache 2.0. Skenario dan pilot dua belas klip bersifat ilustratif; tidak dilakukan benchmark akurasi detektor.

Rekomendasi dari Telli.sh

Simpan catatan tinjauan, contoh transkrip, dan keputusan di balik perubahan percakapan agar mudah ditemukan lagi. Buat akun Telli.sh untuk mengatur rekaman dan catatan referensi.