Bolehkah AI suara luar talian pada Mac menunggu sehingga anda habis bercakap?
Binaan Sophon-Realtime untuk cip Apple memproses pertuturan pada peranti. Uji memori, masa respons, gema dan gangguan secara berasingan melalui temu duga olok-olok.
Bayangkan anda berlatih untuk temu duga kerja di meja dapur. Anda sedang menerangkan cara menyelesaikan sesuatu masalah lalu berhenti seketika untuk mencari perkataan yang tepat. Penemu duga terus menyampuk kerana menyangka anda sudah habis. Tidak lama kemudian, anda mahu membetulkan sesuatu, tetapi penemu duga terus bercakap. Kedua-dua masalah ini boleh berlaku walaupun jawapan aplikasi kedengaran baik apabila dimainkan semula.
Pada 13 November 2026, Adventists AI mengumumkan binaan Sophon-Realtime yang berjalan secara setempat pada Mac. Binaan itu menggabungkan model suara Flash-4bit dengan persekitaran masa jalan MLX pada Mac bercip Apple. Projek ini mengesyorkan memori bersepadu 36 GB atau lebih, menyenaraikan pengurusan giliran bercakap dan kebolehan menghentikan jawapan dengan menyampuk, serta menyatakan bahawa persediaan Mac memuat turun kira-kira 24 GB fail model. API hos yang diumumkan secara berasingan pada 14 November menjalankan interaksi suara melalui pelayan dan bukannya Mac anda.
Apa yang ingin diketahui ialah sama ada interaksi itu terasa seperti perbualan walaupun tanpa sambungan rangkaian. Temu duga olok-olok yang ringkas boleh membantu anda menilainya. Asingkan tempoh menunggu respons suara pertama daripada keputusan aplikasi untuk mula bercakap. Kemudian lihat berapa banyak sumber yang masih tersedia untuk kerja lain pada komputer.
Selepas persediaan, binaan setempat memproses audio pada peranti. API hos menggunakan laluan yang berasingan.
Bagaimanakah anggaran satu saat itu patut diukur?
Untuk M4 Max dengan memori 36 GB, kad model Mac projek itu melaporkan 0.9 hingga 1.1 saat sehingga audio pertama kedengaran selepas anda berhenti, apabila model yakin bahawa giliran anda telah tamat. Jika model memerlukan lebih banyak masa untuk membuat keputusan, projek melaporkan masa menunggu sehingga kira-kira 2.5 saat. Angka ini datang daripada persediaan yang digunakan oleh projek. Sebelum cuba mengulang ujian itu, tentukan maksud «berhenti bercakap». Pada rakaman, anda boleh menandakan suku kata terakhir yang kedengaran. Sistem pula memilih sendiri saat ia menganggap input sudah tamat. Antara kedua-dua saat itu mungkin ada jeda yang kedengaran biasa bagi manusia.
Masa menunggu audio pertama merangkumi semua yang berlaku dari penghujung ujaran anda sehingga output model mula kedengaran. Kadangkala model memerlukan masa untuk memproses jawapan. Kadangkala sistem masih menunggu untuk menentukan sama ada giliran anda telah tamat. Model yang pantas pun boleh menyampuk pada setiap jeda jika menganggap diam seketika sebagai tanda anda sudah selesai. Sistem yang lebih sesuai mungkin menunggu sedikit lama apabila giliran masih belum jelas. Jam randik sahaja tidak menunjukkan perbualan yang mana terasa lebih baik.
Cuba guna soalan «Mengapa anda memilih untuk menggunakan cache?» Pada cubaan pertama, beri jawapan yang ringkas, tamatkan ayat dengan jelas dan tunggu respons. Pada cubaan kedua, katakan «Kami memilih menggunakan cache kerana…» lalu berhenti seketika sebelum menyambung. Pada cubaan ketiga, berikan jawapan yang sama dengan kipas terpasang berhampiran anda. Aplikasi boleh bertindak pantas pada percubaan pertama tetapi gagal pada dua yang lain. Bandingkan masa selepas memastikan aplikasi mula bercakap pada saat yang sesuai.
| Peristiwa dalam perbualan | Perkara yang perlu dicatat | Sebab ia penting |
|---|---|---|
| Jawapan yang tamat dengan jelas | Masa dari suku kata terakhir hingga respons pertama yang kedengaran | Menunjukkan sama ada tempoh menunggu selepas jawapan terasa lama |
| Jeda di tengah ayat | Adakah pembantu menunggu atau mula menjawab? | Menunjukkan sama ada sistem mentafsirkan keadaan senyap sebagai tanda untuk mula bercakap |
| Pembetulan ketika audio dimainkan | Masa yang diambil untuk berhenti bercakap dan sama ada pembetulan difahami | Menguji sama ada pengguna boleh mengambil semula giliran |
| Bunyi pembesar suara ditangkap oleh mikrofon | Respons yang tercetus sendiri atau teks berulang | Menunjukkan kesan gema di dalam bilik sebenar |
Anda boleh membuat pemerhatian ini di rumah dengan suara sendiri. Nyatakan keadaan ujian bersama-sama angka yang direkodkan. Pembesar suara dan fon kepala menghasilkan laluan gema yang berbeza. Kipas ialah cara menguji keadaan yang mungkin dihadapi semasa penggunaan, tetapi ia tidak memenuhi syarat penanda aras pertuturan yang piawai. Hasil percubaan dalam bilik tanpa kawalan itu tidak sesuai untuk dibandingkan dengan ukuran kependaman pada pelayan.
Ujian mencelah perlu memeriksa dua perkara
Sophon menerangkan binaan Mac sebagai dupleks penuh, dengan sokongan untuk mencelah dan pembatalan gema. Dalam aplikasi interaktif, mencelah berguna jika output berhenti dan maklumat baharu kekal dalam perbualan. Jika sistem terus senyap selepas mendengar «Maaf, maksud saya hari Selasa» tetapi masih menggunakan hari Khamis untuk soalan seterusnya, baru separuh masalah diselesaikan.
Dalam temu duga olok-olok, minta pembantu mengemukakan soalan susulan yang panjang. Kemudian kata, «Tunggu, saya sedang bercakap tentang pemindahan pangkalan data, bukan pelancaran untuk pelanggan.» Catat sama ada jawapan terhenti, pembantu mengakui pembetulan dan soalan seterusnya mengambil kira perubahan itu. Cuba mencelah dengan pembetulan yang bermakna dan sekali lagi dengan bunyi pendek seperti batuk. Aplikasi boleh mengendalikan kedua-dua isyarat secara berbeza. Kejayaan cubaan pertama sahaja boleh menutup masalah main balik yang terlalu kerap terhenti di bilik sebenar.
Gema perlu diuji secara berasingan daripada kebolehan mencelah. Cuba dengan fon kepala dan dengan pembesar suara pada aras bunyi yang selesa. Jika pengakuan ringkas pembantu memulakan rakaman baharu secara automatik, menukar kedudukan mikrofon atau cara gema dibatalkan mungkin lebih berkesan daripada memilih model yang lebih kecil. Elakkan menukar perkakasan, model dan tetapan audio serentak dalam satu cubaan. Dengan itu anda boleh mengenal pasti sebab percubaan seterusnya bertambah baik atau buruk.
Uji jeda biasa dan pembetulan secara berasingan. Kedua-duanya boleh mengandungi waktu senyap, tetapi aplikasi sepatutnya memberikan tindak balas yang berbeza.
Memori mempengaruhi pengalaman menggunakan binaan Mac
Panduan pemasangan Mac menerangkan cara menggunakan MLX pada cip Apple dan mengesyorkan memori bersepadu 36 GB atau lebih. Muat turun sekitar 24 GB merujuk kepada storan. Memori kerja aktif boleh berbeza daripada angka tersebut. Model, cache, pemprosesan audio dan aplikasi lain berkongsi sumber sepanjang sesi sebenar.
Untuk percubaan awal, tutup aplikasi yang banyak menggunakan memori dan gunakan skrip perbualan yang ringkas. Dalam Activity Monitor, perhatikan tekanan memori dan semak sama ada penggunaan ruang swap bertambah sepanjang ujian. Selepas itu, buka aplikasi yang biasanya anda gunakan bersama pembantu dan ulang ujian. Walaupun model berjaya dimuatkan, tekanan memori yang meningkat atau audio tersekat boleh menjadikannya sukar digunakan setiap hari. Tujuan percubaan ialah mencari persediaan yang selesa digunakan. Komputer dengan spesifikasi paling rendah yang masih boleh menjalankan program belum tentu memenuhi cadangan projek.
Pada 16 November, projek itu mengumumkan varian 4B yang berasingan untuk GPU pengguna. Nota keluaran membezakan laluan GPU tersebut daripada binaan Mac 32B Flash-4bit untuk MLX. Angka VRAM yang lebih rendah untuk persekitaran pemprosesan lain tidak mengubah cadangan untuk Mac. Angka bagi API hos, GPU pelayan dan MLX setempat juga melibatkan model dan beban penggunaan yang berbeza. Tentukan cara anda mahu menjalankannya sebelum mentafsir angka dalam repositori.
Sokongan bahasa rasmi penting bagi aplikasi pertuturan. Bahasa Korea disenaraikan dalam repositori sebagai bahasa yang dirancang. Gunakan bahasa yang disahkan dalam dokumentasi, seperti bahasa Inggeris, untuk percubaan pertama. Sokongan berbilang bahasa tidak menjamin bahawa sebutan, pengecaman dan giliran bercakap berfungsi sama baik dalam setiap bahasa. Jika anda perlukan temu duga dalam bahasa Korea, keluaran ini berguna untuk mengetahui cara menguji interaksi. Sokongan bahasa Korea masih memerlukan ujian tersendiri apabila tersedia.
Cuba tanpa rangkaian selepas muat turun selesai
Persediaan memerlukan akses rangkaian untuk mendapatkan kebergantungan projek dan pemberat model seperti diterangkan dalam panduan Mac. Ikuti langkah yang didokumenkan, semak skrip sebelum pemasangan dan ketahui tempat fail setempat disimpan. Kebenaran menggunakan mikrofon perlu diberikan secara berasingan daripada pemasangan model. Mulakan dengan audio yang anda sendiri boleh gunakan dan dapatkan persetujuan sebelum merakam orang lain.
- Ikuti panduan Mac dan gunakan semakan versi projek yang ditetapkan apabila praktikal. Tunggu semua muat turun selesai dan cuba satu perbualan dalam bahasa yang disokong semasa masih bersambung.
- Putuskan sambungan rangkaian selepas persediaan siap. Mulakan sesi setempat yang baharu dan pastikan soalan baharu yang disebut menerima jawapan baharu, tanpa memainkan contoh yang disimpan.
- Uji beberapa jawapan penuh, jeda di tengah ayat dan pembetulan dengan tetapan mikrofon serta pembesar suara yang sama. Catat model peranti, jumlah memori, ralat dan masa yang diperhatikan.
- Ulang sebahagian kecil ujian dengan aplikasi yang biasa anda gunakan masih terbuka. Jika respons mengambil lebih masa atau audio menjadi kurang baik, periksa tekanan memori dan perubahan keadaan ujian sebelum membuat kesimpulan.
Pengumuman API hos pada 14 November memberi pembangun cara mencuba projek itu tanpa menyediakan model setempat. Ini membantu semasa membandingkan interaksi atau membina integrasi. Pada laluan ini, aplikasi menghantar audio kepada perkhidmatan yang mempunyai syarat rangkaian dan privasinya sendiri. Apabila beralih antara perkhidmatan hos dan antara muka baris perintah Mac, ada lebih banyak perbezaan daripada sama ada skrip yang sama boleh dimulakan.
Penggunaan luar talian boleh mengurangkan data yang dihantar keluar dari peranti. Ini penting apabila anda sedang berlatih menerangkan sesuatu yang sulit atau membina prototaip untuk tempat dengan sambungan yang lemah. Fail masih boleh ditulis pada cakera. Semak cara aplikasi klien anda mengendalikan rakaman, transkrip dan log. Ujian tanpa sambungan boleh menunjukkan bahawa perbualan berjalan tanpa rangkaian. Ciri privasi lain untuk aplikasi yang bakal dibina perlu disahkan secara berasingan.
Satu lagi contoh kegunaan ialah prototaip borang yang dijawab melalui pertuturan. Andaikan seseorang menjawab empat soalan dan boleh membetulkan jawapan terakhir sebelum beralih ke soalan seterusnya. Aplikasi perlu menyimpan jawapan yang sudah disahkan, selain tafsiran terbaharu model suara. Jika pembetulan dibuat semasa audio dimainkan, medan yang berkaitan patut dikemas kini hanya selepas pembetulan difahami. Interaksi suara tanpa menggunakan papan kekunci memudahkan pengisian borang, sementara aplikasi tetap menentukan bila draf jawapan masuk ke dalam rekod.
Tetapkan syarat lulus sebelum membandingkan dua binaan. Contohnya, ujian lulus jika aplikasi menunggu sepanjang jeda yang dirancang, menghentikan main balik selepas pembetulan sebenar dan mengajukan soalan seterusnya tentang perkara yang telah dibetulkan. Catat bilangan ujian yang selesai secara berasingan. Jika cukup banyak percubaan yang setara, laporkan median dan julat masa. Rekodkan percubaan semula agar perbandingan tidak bergantung pada perbualan yang paling lancar sahaja. Dalam ujian kecil di rumah, satu pertukaran giliran yang gagal boleh memberi lebih banyak maklumat daripada purata.
Bandingkan penggunaan dalam talian dan luar talian pada tugas yang sama. Perkhidmatan hos boleh dijadikan pembanding jika peranti prototaip tidak mempunyai cukup memori untuk memproses suara secara setempat. Nyatakan apabila terdapat perbezaan dari segi suara, tetapan giliran, model dan akses kepada peranti. Masa respons yang lebih singkat tidak menunjukkan sendiri pilihan yang lebih sesuai apabila pengguna teragak-agak atau ketika tiada sambungan. Gunakan hasil ujian untuk menilai aplikasi yang sedang dibina.
Sediakan juga cara yang jelas untuk prototaip kembali berfungsi. Bayangkan pengguna menghentikan pembantu ketika ia sedang bercakap dan kemudian senyap. Petunjuk visual ringkas atau penanda status setempat boleh menunjukkan bahawa sistem masih mendengar. Jika peranti audio dicabut atau model berhenti kerana tekanan memori, pastikan aplikasi kembali kepada keadaan sedia yang jelas sebelum sesi berikutnya. Ukur masa pemulihan secara berasingan daripada masa respons. Aplikasi yang pantas semasa giliran biasa masih boleh mengecewakan apabila sesuatu yang tidak dijangka berlaku dalam perbualan.
Temu duga setempat yang baik memberi ruang untuk anda bercakap
Ujian yang paling jelas mungkin mengambil masa kurang daripada seminit. Mulakan satu jawapan, berhenti sekejap, habiskan jawapan itu, tunggu pembantu mula bercakap dan ubah satu butiran sebelum ia selesai. Jika setiap saat berjalan seperti yang anda jangka, pertuturan mula berfungsi sebagai antara muka yang berguna dan tidak sekadar memainkan satu fail audio selepas yang lain. Dengan memori yang mencukupi, binaan Mac membolehkan anda melakukan ujian ini pada peranti sendiri. Hasilnya tetap bergantung pada komputer, bahasa, bilik dan perisian yang digunakan.
Sumber
- Projek Sophon-Realtime dan nota keluaran bertarikh 13, 14 dan 16 November
- Panduan rasmi untuk cip Apple dan MLX
Simpan soalan temu duga, nota latihan dan pemerhatian ujian setempat bersama-sama. Buat nota pertama anda dengan Telli.sh.