Bolehkah AI menjadikan tangan anda alat kawalan untuk peranti sebenar?

Bayangkan tangan anda berada di atas pensintesis dan anda meminta set kepala memetakan ketinggian jari kepada frekuensi batas penapis. Anda sudah tahu tugas gerak isyarat itu. Bahagian sukar ialah menghubungkan tangan yang bergerak dengan tombol sebenar, terutama apabila alat itu menggunakan MIDI dan set kepala hanya nampak sebuah kotak di atas meja.

ControlAnything ialah prototaip penyelidikan yang diterangkan oleh Bektur Ryskeldiev dalam pracetak bertarikh 5 November 2026. Ia membuat sebahagian kerja penyepaduan ketika diminta. Pemakai memilih sasaran dalam paparan Meta Quest 3, memberikan arahan dan menunggu ejen pada MacBook menulis penyambung. Kawalan yang dipulangkan boleh berupa widget maya, program pembaca gerakan tangan atau kedua-duanya. Projek menyediakan kod dan demonstrasi, termasuk simulasi desktop.

Rakaman Quest 3 oleh pengarang Bektur Ryskeldiev menunjukkan kawalan OP-1 Field yang dijana semasa penilaian. Telli.sh mengubah saiz bingkai. Pracetak dan bingkai asal · Notis MIT bagi video projek

Set kepala boleh mencipta kawalan baharu untuk tugas tertentu. Persoalan seterusnya ialah cara sistem mengetahui perkara yang benar-benar berlaku. Pengakuan MIDI, tombol maya yang bertindak balas dan bunyi pensintesis yang berubah memberikan tiga jenis bukti berbeza.

Menunjuk peranti memulakan permintaan

Prototaip menggabungkan klien WebXR, pelayan komputer riba, ejen pengaturcaraan dan beberapa cara mencapai peranti. SAM 3.1 menggariskan objek yang mungkin ada dalam pandangan set kepala. Gerakan mencubit menukarkan salah satu objek itu menjadi tag, dan Muse Spark boleh mencadangkan identitinya. Pracetak menganggap identiti yang dicadangkan sebagai hipotesis yang boleh dibandingkan dengan nama port MIDI atau respons peranti. Tag memberi pemakai cara merujuk sasaran. Port, jambatan pelayar atau pelaksana papan kekunci membolehkan komputer bertindak terhadap sasaran. Pracetak ControlAnything, bahagian 3–4

Daripada sasaran yang dipilih kepada hasil yang boleh dilihat atau didengar. Ilustrasi asal Telli.sh.

Bayangkan tag seperti label bagasi. Label berguna untuk menamakan benda yang mahu dipindahkan. Laluan dan destinasi masih perlu ditetapkan. Sesi 5 November memperlihatkan perbezaan itu. Semua permintaan ditujukan kepada tag MacBook yang sudah dicipta pengarang. Apabila sasaran sebenar ialah pensintesis OP-1 Field atau gimbal DJI Osmo Mobile 4, pengarang menamakannya dalam permintaan. Sesi itu menunjukkan cara menghubungkan peranti yang sudah dikenali oleh persediaan. Pemilihan pensintesis atau gimbal yang tidak dikenali masih memerlukan ujian lain.

Sistem juga sudah mempunyai butiran berguna sebelum gerak isyarat pertama. Projek mendokumenkan saluran MIDI, Bluetooth dan tekanan kekunci. Catatan ejen sudah mengandungi nama port OP-1, nombor pengawal penapis dan arahan menggerakkan gimbal sebelum sesi yang dilaporkan. Imej kamera boleh menunjukkan bahawa sesuatu kelihatan seperti pensintesis. Butiran awal itu memberitahu program nilai yang patut dihantar, tujuannya dan cara mengekalkannya dalam julat yang diingini.

Model membina kawalan sekali, program tangan menjalankannya berulang kali

Prototaip memisahkan kerja berat menjana interaksi daripada kerja berulang menjalankannya. Permintaan lisan ditranskripsikan, ejen menulis penyambung dan pelayan memeriksa bahawa penyambung berjalan serta setiap kawalan terikat pada tindakan yang diisytiharkan. Program tangan membaca isyarat daripada sendi pada setiap bingkai dan mengeluarkan nilai atau peristiwa. Model berjalan sewaktu persediaan. Set kepala melaksanakan program apabila tangan bergerak. Pelaksanaan dalam pracetak

Perbezaan ini penting untuk kawalan berterusan seperti bunyi atau pembingkaian kamera. Jika model bahasa menentukan setiap nilai baharu, setiap bingkai akan menjadi satu lagi keputusan yang lambat. Program kecil boleh memetakan ketinggian tangan kepada parameter, mengehadkan julat dan bertindak balas apabila gerak isyarat dilepaskan. Untuk pencetus seperti memajukan video, program boleh memerlukan gerakan yang disengajakan dan menunggu tangan kembali neutral sebelum bersedia semula. Pemetaan ini ialah contoh ruang reka bentuk, berasingan daripada prestasi prototaip yang diukur.

Pracetak melaporkan median masa persediaan 32.5 saat bagi sembilan permintaan yang mencapai keadaan sedia, dengan julat 24.9 hingga 57.8 saat. Masa itu bermula apabila pelayan mengendalikan permintaan dan tidak termasuk transkripsi pertuturan. Panggilan model menyumbang median 89.9% daripada masa persediaan. Pengarang juga menyatakan bahawa sesi tidak mengukur masa daripada pergerakan tangan hingga respons peranti. Hasil pracetak

Angka itu membantu menilai kos fleksibiliti. Setengah minit boleh diterima jika menggantikan penulisan penyambung yang biasanya mengambil masa satu petang dan akan digunakan sepanjang latihan. Sukar mewajarkan masa yang sama untuk tugas yang boleh diselesaikan dalam lima saat dengan alat kawalan sedia ada. Peluangnya ialah tugas yang berulang kali mendapat manfaat daripada kawalan yang dikonfigurasi sekali.

Hasil juga menunjukkan langkah seterusnya. Dua permintaan untuk interaksi simulasi air yang serupa mengambil 31.6 dan 32.5 saat kerana setiap satunya menghasilkan penyambung baharu. Cache arahan melayani 91.7% token input dalam sesi itu, namun penyambung terdahulu tidak menjadi kawalan sedia guna. Menyimpan pemetaan yang disemak dan membolehkan pemakai memilih untuk menggunakannya semula akan mengurangkan komponen kos persediaan yang lain. Versi juga penting kerana penyambung memerlukan andaian peranti, akaun dan julat yang sama seperti ketika diuji.

Tombol penapis, gimbal dan pelayar memerlukan bukti berbeza

Sesi 5 November melibatkan seorang pemakai, iaitu pengarang, dan sepuluh permintaan merentas lima sasaran. Sembilan mencapai keadaan sedia, manakala pemakai menghentikan larian yang tinggal. Eksperimen itu bersifat teknikal dan penerokaan. Permintaan diungkapkan secara bebas, sebahagiannya mengulangi tujuan terdahulu dan persediaan menggunakan pengetahuan peranti sedia ada. Angka itu melaporkan kejadian dalam satu sesi. Peluang pengguna baharu menghubungkan peranti yang belum dikenali memerlukan ukuran lain. Jadual dan kaedah pracetak

Pengakuan pada saluran penghantaran dan kesan terukur menjawab soalan berlainan. Ilustrasi asal Telli.sh.

Pertimbangkan pensintesis. MIDI boleh membawa arahan penapis yang sah ketika alat menggunakan tetapan bunyi yang memberikan respons lain atau penerimaan MIDI dimatikan. Pracetak menerangkan kes terdahulu apabila mesej diakui tetapi tiada bunyi sehingga tetapan penerimaan dihidupkan. Perubahan yang boleh didengar, dirakam menggunakan nota ujian yang diketahui, memberi lebih banyak maklumat daripada salinan kedua mesej log.

Gimbal memberikan pengajaran yang sama dalam bentuk lain. Jambatan merekodkan 889 respons putaran yang berjaya dalam sesi itu, termasuk arahan henti dan pelepasan. Ini menunjukkan saluran menerima arahan sepanjang interaksi berterusan. Log tidak mengandungi sudut yang boleh dipercayai. Dalam ujian susulan, tetapkan sasaran selamat dan bandingkan sudut yang diminta dengan video atau tanda rujukan. Selepas itu barulah ketepatan, kebolehulangan dan had pergerakan dapat dinilai.

Kawalan papan kekunci menambah masalah identiti. Tekanan kekunci boleh berjaya pada peringkat sistem pengendalian tetapi masuk ke tetingkap yang salah. Ujian pelayar patut memeriksa tab aktif, mengesahkan perubahan pada kandungan sasaran dan memastikan tetingkap lain tidak terjejas. Semakin abstrak antara muka penyambung, semakin penting takrif jelas tentang bila tugas dianggap selesai.

Tindakan berhenti mesti berfungsi sebelum gerak isyarat boleh dipercayai

Laluan henti ControlAnything berasingan daripada model. Pemakai boleh menghentikan penjanaan, menghulurkan kedua-dua tapak tangan sewaktu penggunaan atau menggunakan kawalan pada menu pergelangan tangan. Hos boleh menamatkan penyambung dan mengeluarkan tindakan pelepasan neutral seperti menghentikan gimbal atau melepaskan keadaan MIDI. Pelaksanaan meletakkan program tangan dalam pekerja terhad dan menyemaknya pada 480 bingkai sintetik sebelum penerapan. Ia turut mengehadkan tindakan dan julat yang boleh dikeluarkan kepada perkara yang diisytiharkan. Keselamatan dan penghentian dalam pracetak

Penyambung komputer riba berada dalam keadaan lain. Pracetak menerangkannya sebagai proses Node biasa dengan kebenaran pengguna komputer riba dan menyatakan bahawa prototaip tidak menjalankan proses janaan itu dalam ruang terasing. SDK boleh mengehadkan arahan melalui laluan yang disokong. Penyambung yang boleh menjalankan kod umum pula mengekalkan kuasa akaun yang menjalankannya. Versi produksi yang boleh dipercayai perlu mengawal keistimewaan penyambung melalui sistem pengendalian dan mengehadkan akses kepada peranti yang diperlukan.

Bayangkan pemasangan dengan dua peralatan bergerak. Paparan yang hanya melabelkan satu peralatan mungkin kelihatan meyakinkan, tetapi penyambung masih boleh menemui dan menggerakkan peralatan kedua. Demonstrasi selamat menggunakan persediaan dengan hanya satu sasaran yang boleh dicapai. Ia menguji fungsi henti secara bebas, memberi ruang untuk operator berundur dan menunjukkan perkara yang berlaku apabila penjejakan hilang atau peranti terputus.

Perbezaan itu juga terpakai kepada kod janaan yang membaca persekitaran. Prototaip mengarahkan model memperlakukan teks dalam bingkai kamera atau respons alat sebagai data. Arahan boleh memandu tingkah laku, manakala kebenaran proses dan saluran yang tersedia menentukan kesan sesuatu kesilapan. Pembaca yang mencuba prototaip perlu menyemak kedua-duanya sebelum mendedahkan komputer riba kepada peranti sebenar atau akaun aktif.

Mulakan dengan sasaran simulasi dan ujian yang sengaja kecil

README projek mendokumenkan simulasi desktop yang menggunakan Node 22.12 atau yang lebih baharu dan Chrome. Menurut projek, tanpa kunci API pelayan memainkan semula respons yang dirakam melalui mod lekapan ujian dengan tanda yang jelas. Ini menunjukkan urutan daripada sasaran bertag hingga tombol janaan sebelum set kepala, panggilan model atau perkakasan ditambah. Batas latihan juga jelas. Lekapan ujian menunjukkan satu laluan yang sudah diketahui. Penilaian langsung bermula apabila sasaran, gerak isyarat atau respons model berubah. Arahan demonstrasi ControlAnything

1. Baca arahan repositori dan jalankan simulasi dalam persekitaran sementara. Buka simulator serta emulator set kepala desktop dan tag komputer riba simulasi yang menjalankan pensintesis maya.
2. Pilih permintaan tombol yang tersedia dan sahkan penunjuk lekapan ujian kelihatan. Catat cara antara muka memaparkan sasaran dan bila kawalan janaan tersedia.
3. Ubah tombol maya, sahkan perubahan pada sasaran simulasi dan uji tindakan henti yang didokumenkan. Asingkan pemerhatian antara muka daripada apa yang direkodkan oleh penyambung.
4. Untuk demonstrasi fizikal pada masa depan, pilih peranti berisiko rendah dengan kawalan yang boleh dibalikkan. Tulis hasil yang dijangka sebelum menghantar arahan. Sediakan cara bebas untuk melihat atau mendengar perubahan dan menghentikan peranti.

Dalam bengkel, mulakan dengan pensintesis visual maya. Elakkan ciri yang membuka perkhidmatan sebenar atau menekan kekunci pada mesin hos. README projek membezakan laluan Instagram Reels daripada contoh simulasi. Jika tujuan anda memahami pemetaan, sasaran ujian setempat dengan sempadan jelas memberikan gambaran yang lebih baik.

Apabila beralih ke perkakasan sebenar, ukur masa persediaan dan kualiti kawalan secara berasingan. Catat masa sehingga sedia. Perhatikan kelewatan antara gerak isyarat dan kesan, hanyutan apabila tangan keluar daripada kawasan penjejakan, serta tindakan apabila pengguna berubah fikiran. Kajian yang lebih panjang boleh menjawab soalan itu dan memeriksa sama ada pengguna baharu boleh memilih sasaran tepat tanpa bantuan.

Versi yang berguna membolehkan anda mencipta kawalan dan mengesahkannya

Idea utama ControlAnything ialah memberi seseorang cara menerangkan interaksi fizikal tanpa menyediakan antara muka khas terlebih dahulu. Penilaian menunjukkan cara ia berfungsi pada sasaran yang dikenali dengan satu set kepala. Kawalan yang boleh diguna semula memerlukan lebih daripada sambungan yang berjaya. Ia patut mengenal pasti peranti, mengehadkan kuasanya dan menjadikan tindakan cukup jelas untuk difahami oleh pemakai.

Sumber

• Pracetak ControlAnything, diserahkan pada 5 November 2026
• Pelaksanaan penuh, penilaian dan batasan
• Repositori projek, demonstrasi dan arahan simulator

---

Agar catatan dan keputusan daripada sesi prototaip mudah ditemui semula, cipta akaun Telli.sh.