AI Tools9 menit baca

Runway bisa menayangkan karakter digital pada 24 fps. Berapa lama sampai karakter itu menjawab?

Makalah Runway memisahkan waktu pembuatan video langsung dari waktu tunggu yang dirasakan orang saat bercakap.

K
Ken Jo

Begitu pelanggan selesai bertanya, karakter animasi punya waktu singkat untuk merespons. Video bisa lancar secara teknis setelah mulai diputar, tetapi jeda sebelum jawaban pertama masih bisa terasa seperti sambungan terputus. Makalah baru Runway memberi rincian waktu yang cukup untuk memahami asal jeda itu.

Runway meluncurkan Characters pada 9 Maret 2026. Pracetak 3 November menjelaskan sistem di balik avatar percakapan yang menghasilkan video sambil berbicara. Makalah ini merupakan uraian teknis tentang produk yang sudah ada. Penulis Runway melaporkan hasil dari sistem mereka sendiri, termasuk cara video berjalan pada empat GPU NVIDIA H100. Angka tersebut memberi tim pertanyaan konkret untuk uji coba. Hasil pada perangkat, sambungan, atau aplikasi lain perlu diukur di lingkungan itu.

Server yang digunakan dalam pengujian NVIDIA H100 yang direkam secara independen

Server untuk menguji perangkat keras H100, jenis GPU yang dipakai dalam makalah Runway. Cuplikan konteks oleh 极客湾Geekerwan, diubah ukurannya, CC BY 3.0. Sumber gambar · Lisensi.

Tenggat 167 milidetik per kelompok frame

Pembuatan video langsung, 4 frame, 147,4 ms dengan fusi, anggaran 166,7 ms, target 24 fps

Pembuatan video langsung. Ilustrasi asli Telli.sh.

Pada 24 frame per detik, satu kelompok berisi empat frame harus siap kira-kira setiap 167 milidetik. Jika kelompok frame tiba lebih lambat daripada pemutar mengonsumsinya, sistem memerlukan lebih banyak buffering, setelan mutu lain, atau perubahan lain agar gerakan tetap berlanjut. Satu kelompok bisa menghabiskan hampir seluruh 167 milidetik meski video terputar lancar.

Penulis Runway menjelaskan sistem dengan sekitar 57 miliar parameter yang menghasilkan frame 704 × 1.088. Mereka melaporkan median durasi langkah difusi sebesar 240,9 milidetik pada konfigurasi acuan, 159,3 milidetik pada satu konfigurasi yang dioptimalkan, dan 147,4 milidetik setelah fusi tambahan. Satu representasi laten yang dibersihkan dari derau setara dengan empat frame, dan decoder berjalan tumpang tindih secara terpisah. Cakupan pengukuran langkah itu berbeda dari waktu respons bagi pengguna.

Pembedaan berikutnya adalah laju pembuatan video dapat mencukupi setelah kelompok pertama mulai diproses. Makalah melaporkan pipeline video 0,49 detik dan median sekitar 2,1 detik untuk satu giliran percakapan lengkap pada kondisi pengukurannya. Pemrosesan ucapan, pembuatan dialog, sintesis ucapan, pengiriman, dan momen awal pemutaran yang berguna semuanya berpengaruh. Tahap-tahap itu bisa tumpang tindih, sehingga mengurangkan angka video dari total tidak mengungkap waktu satu tahap tertentu.

MetrikPertanyaan yang dijawabHal yang diukur dalam uji coba
Frame per detikBisakah video menjaga gerakan berkelanjutan?Frame yang diterima dan jeda sepanjang jawaban panjang
Waktu hingga jawaban pertama bisa diputarBerapa lama hening sesudah pertanyaan?Median dan waktu kasus lambat pada perangkat klien
Respons terhadap interupsiBisakah orang kembali berbicara tanpa menunggu?Waktu dari interupsi hingga audio berhenti
Keselarasan audio dan videoApakah ucapan dan gerakan selaras?Pergeseran setelah interupsi, kemacetan pemutaran, dan pemulihan

Kapan karakter bergerak memberi manfaat

Salah satu uji coba yang masuk akal adalah stasiun pelatihan produk di museum atau ruang pamer. Pengunjung bertanya fungsi sebuah kontrol. Aplikasi memilih jawaban singkat dari materi yang disetujui dan karakter menjawab sementara diagram tetap terlihat di layar. Pengunjung yang datang langsung mungkin terbantu oleh wajah yang jelas, arah pandangan, atau isyarat giliran bicara. Sistem bisa beralih ke penjelasan tertulis jika koneksi tidak stabil.

Skenario kedua adalah permainan peran karyawan. Peserta berlatih menanggapi pelanggan yang frustrasi, lalu mendapat umpan balik dari aplikasi pelatihan. Pengaturan waktunya lebih menuntut daripada sapaan bernaskah. Karakter perlu berhenti di tengah kalimat, menangani interupsi, dan pulih setelah salah memahami frasa. Uji coba berguna jika mencatat apakah peserta mengulangi ucapan atau berbicara bersamaan dengan karakter, selain mencatat metrik latensi biasa.

Persetujuan dan representasi menjadi penting ketika avatar menggunakan gambar atau suara orang sungguhan. Organisasi dapat menetapkan siapa yang boleh membuat karakter, di mana kemiripan orang tersebut dapat ditampilkan, dan bagaimana cara menghapusnya. Untuk eksperimen, persona yang jelas sintetis atau pemeran dengan izin terdokumentasi memudahkan pemisahan temuan antarmuka dari persoalan lisensi selanjutnya.

Apa yang belum dijawab hasil produksi

Ukur giliran lengkap, akhir ucapan, jawaban pertama, pemutaran, interupsi

Mengukur giliran percakapan lengkap. Ilustrasi asli Telli.sh.

Penulis melaporkan bahwa 99,5% sesi yang berlangsung setidaknya satu detik memiliki rata-rata lebih dari 23,5 frame per detik. Penyebut dan rentang perataannya berpengaruh. Sesi bisa memenuhi ambang laju frame rata-rata sekalipun sempat tersendat. Respons juga bisa tiba cepat tetapi gagal mempertahankan kelancaran. Makalah itu tidak menyediakan distribusi waktu respons pertama pada tingkat penggunaan serentak yang diharapkan setiap pembeli.

Uji coba kecil sebaiknya meliputi sambungan kantor biasa, sambungan seluler yang terbatas, dan kelas perangkat yang benar-benar dipakai pengunjung. Mulailah dengan acuan suara dan transkrip, lalu uji permintaan yang sama dengan karakter. Bandingkan tingkat penyelesaian, penghentian, dan interupsi. Pertahankan jawaban bernaskah serta kebijakan dialog agar perbedaan dapat dikaitkan dengan antarmuka. Catat respons lambat bersama contoh keberhasilan.

Konfigurasi perangkat keras dalam makalah tidak memberi tahu pembeli biaya satu percakapan. Satuan biaya yang berguna mencakup interaksi pelatihan yang selesai atau pertanyaan pengunjung yang dijawab dengan benar. Jumlah menit yang dihasilkan baru berarti setelah tim memahami berapa menit yang berguna. Demo video menunjukkan rupa dan gerakan. Percakapan yang diukur dapat menunjukkan kesiapan aplikasi bagi pemirsanya.

Perhatikan satu percakapan frame demi frame

Makalah melaporkan dua distribusi latensi yang lebih terperinci. Pada 43 giliran yang ditandai, median waktu dari akhir ucapan pengguna hingga audio avatar di klien adalah 2,13 detik, dengan persentil ke-10 dan ke-90 sebesar 1,45 dan 3,00 detik. Dari audio pertama agen hingga frame pertama yang memperlihatkan karakter berbicara, seperti ditangkap LiveKit, mediannya 493 milidetik dengan persentil ke-10 dan ke-90 sebesar 421 dan 562 milidetik. Angka pertama adalah jeda sebelum respons terdengar dalam kondisi uji. Angka kedua berkenaan dengan awal video berbicara. Pengunjung bisa merasakan waktu keduanya.

Pengukuran laju frame berasal dari pengumpulan data berbeda. Penulis mengatakan mereka mencatat telemetri worker selama tujuh minggu. Mereka juga menentukan sesi yang masuk dalam metrik. Uji coba di tempat ramai dapat melengkapi hasil itu dengan mencari jeda pemutaran sesaat setelah interupsi atau ketika banyak pengunjung datang bersamaan. Rekam audio dan video dari klien sebenarnya agar pengukuran mencakup perilaku jaringan dan pemutaran.

Untuk mengukur percakapan secara adil, tandai saat orang selesai berbicara, saat agen mulai menjawab, dan frame pertama yang menunjukkan gerakan bicara. Ulangi pertanyaan dengan jawaban yang diharapkan sudah diketahui. Penguji dapat membedakan jawaban tepat yang lambat dari jawaban cepat yang salah menangkap permintaan. Sertakan beberapa interupsi dengan waktu yang konsisten pada kedua antarmuka.

Bandingkan biaya berdasarkan sesi selesai

Pusat bantuan Runway menjelaskan pungutan 2 kredit di muka dan 2 kredit lagi per 6 detik waktu sesi aktif. Pada harga yang disebutkan sebesar $0,01 per kredit sebelum pajak, sesi aktif 60 detik memberi ilustrasi 22 kredit atau $0,22 dengan tarif tersebut. Ini contoh berdasarkan model biaya yang dipublikasikan. Total penggunaan bergantung pada akun, waktu aktif, harga saat ini, dan bagian aplikasi yang ditagih terpisah.

Tim yang membandingkan antarmuka dengan acuan suara dapat melacak biaya per interaksi yang selesai. Sebagian orang meninggalkan sesi sebelum avatar selesai. Orang lain memerlukan percakapan kedua ketika menemui masalah jaringan atau jawaban kurang jelas. Sesi-sesi itu menggunakan sumber daya meski pengunjung tidak menyelesaikan tugas semula. Masukkan sesi yang ditinggalkan ke penyebut untuk menghitung penyelesaian, dan sertakan tagihannya dalam pengeluaran.

Biaya moderasi dan tinjauan konten juga bisa berubah. Perusahaan mungkin perlu memeriksa apakah ucapan yang dihasilkan mengikuti kebijakan, apakah pembawa acara sintetis dapat tampil di wilayah sasaran, dan bagaimana pengunjung bisa menghubungi pegawai ketika sistem tidak punya jawaban. Uji jalur itu secermat sistem rendering. Jalur alternatif yang baik bisa mengurangi gangguan bagi pengunjung dengan koneksi lambat.

Jalankan perbandingan dengan pengukuran

  1. Pilih satu interaksi yang disetujui dengan jawaban benar dan hasil sukses yang jelas.
  2. Uji acuan teks atau suara dan versi avatar dengan sumber jawaban serta kebijakan dialog yang sama.
  3. Ulangi setiap permintaan pada perangkat dan sambungan yang dipakai pengunjung. Sertakan jawaban panjang, interupsi sengaja, dan gangguan sambungan singkat.
  4. Catat awal respons, awal video berbicara, jeda pemutaran, interupsi yang berhasil, dan apakah pengunjung menuntaskan tugas.
  5. Tinjau kegagalan dengan bukti pemutaran. Tentukan apakah masalah berasal dari pengenalan ucapan, pembuatan jawaban, pengaturan waktu, jaringan, atau antarmuka.
  6. Bandingkan sesi selesai dan total biaya kedua versi sebelum memperluas ke penggunaan yang lebih panjang atau lebih ramai.

Uji ini menunjukkan di mana kanal visual tambahan membantu. Karakter bisa memperjelas giliran bicara bagi satu kelompok dan membuat kelompok lain menunggu tanpa manfaat. Hasil uji coba berlaku pada interaksi, jaringan, dan perangkat yang digunakan.

Perhatikan perubahan kapasitas di balik angka waktu

Penulis menjelaskan perpindahan sistem dari delapan ke empat GPU H100 untuk satu sesi waktu nyata. Konfigurasi empat GPU tanpa optimasi fusi berikutnya mencapai 24,5 frame per detik menurut laporan mereka. Angka itu menunjukkan konfigurasi perangkat keras dan perangkat lunak tertentu memenuhi target pada beban kerja yang dilaporkan. Jaminan penggunaan serentak untuk beban lain atau perangkat keras yang dialokasikan pada akun pelanggan perlu ditentukan secara terpisah.

Pembeli dapat menanyakan kepada vendor bagian layanan mana yang dimulai lebih dulu, apa yang terjadi saat kapasitas terbatas, dan bagaimana sesi pulih. Ruang pamer mungkin bisa menoleransi gangguan visual singkat jika audio terus berjalan dan pertanyaan dijawab. Aplikasi pelatihan tersinkron mungkin harus menjeda, memperlihatkan status pemulihan yang jelas, lalu memulai kembali dari titik yang diketahui. Ulangi tindakan yang sama setelah interupsi dan periksa apakah aplikasi tahu bagian yang sudah didengar orang tersebut.

Pertukaran itu berpengaruh ketika seseorang menyela di tengah kalimat. Sistem dapat menampung audio atau video yang telah dibuat untuk mempertahankan kelancaran pemutaran. Penyangga terlalu besar bisa membuat karakter terus bicara ketika pengguna berusaha mengambil giliran. Penyangga lebih kecil bisa lebih rentan terhadap sambungan yang berubah-ubah. Ukur waktu hingga benar-benar berhenti dan awal jawaban berikutnya secara terpisah.

Uji pemulihan yang bisa dipahami pengguna

Uji coba kecil dapat mengubah sambungan dari profil biasa ke profil yang lebih lambat ketika jawaban diputar. Catat apakah audio berhenti, video membeku, dan apa yang disampaikan antarmuka. Pulihkan sambungan normal lalu periksa apakah karakter melanjutkan jawaban yang sama, meminta pengguna mengulang pertanyaan, atau mengalihkan ke kanal alternatif. Tiap hasil memberi konsekuensi berbeda bagi orang yang berdiri di depan kios.

Ketika sistem gagal pulih, berikan transkrip, jalur tertulis yang mudah diakses, atau pengalihan ke petugas jika didukung aplikasi. Tugas singkat mungkin tetap selesai meski video gagal. Latihan panjang mungkin perlu kembali ke checkpoint. Perilaku yang tepat bergantung pada seberapa banyak interaksi sudah selesai.

Uji beban rutin bisa dimulai dengan tiga pola kedatangan. Bandingkan satu sesi panjang, beberapa sesi pendek yang independen, dan kelompok yang datang serentak. Perhatikan respons pertama dan kasus paling lambat pada tiap pola. Tayangan yang memenuhi target begitu pemutaran dimulai masih bisa memberi pengalaman buruk jika pengunjung menunggu jauh lebih lama saat terjadi lonjakan.

Sumber


Untuk menyimpan catatan percakapan dan keputusan di balik pekerjaan Anda yang dapat ditelusuri, Buat akun Telli.sh.


← Kembali ke blog