Robot yang menang dalam demo boleh gagal di tempat kerja anda

Dua lengan robot kelihatan sama meyakinkan dalam video. Lengan pertama tergelincir ketika memegang bekas yang belum dikenalinya. Lengan kedua mencengkam dengan betul tetapi meletakkan bekas itu ke dalam tong yang salah. Pasukan operasi yang perlu memilih mahu tahu kegagalan yang mungkin berlaku di barisan mereka dan perkara yang diperlukan untuk pulih.

RoboColosseum ialah usaha penyelidikan untuk membandingkan dasar kawalan robot pada perkakasan fizikal di pelbagai tapak penilaian. Dalam versi arXiv bertarikh 2 November, pengarang melaporkan 5,699 perbandingan berpasangan di 124 tapak. Mereka mendapati kesepakatan kedudukan yang lemah antara bentuk fizikal robot dan melaporkan bahawa prestasi relatif boleh berubah selepas penalaan halus. Pembeli atau penyelidik boleh menggunakan bukti itu untuk merancang penilaian yang lebih baik sebelum membuat keputusan berdasarkan himpunan video demo.

Unitree G1 (kiri), salah satu platform robot yang dinilai, di Japan Mobility Show 2025. Foto oleh RuinDig/Yuki Uchida, diubah saiznya, CC BY 4.0. Sumber imej · Lesen.

Kedudukan bergantung pada robot, tugas dan keadaan tertentu

Penilaian robot di tapak. Ilustrasi asal Telli.sh.

Satu dasar boleh berfungsi dengan baik bagi satu gabungan robot, kedudukan sensor dan tugas. Ubah pencengkam atau kedudukan objek ketika memasuki ruang kerja, dan kemahiran yang sedikit berbeza mungkin menentukan kejayaan. Dasar yang ditala halus juga berbeza daripada dasar yang digunakan terus. Prestasinya bergantung pada demonstrasi dan proses penyesuaian yang diterimanya.

Kajian membandingkan dasar dalam keadaan tempatan yang dipadankan. Dalam laluan terbuka, penilai membandingkan percubaan pada tugas yang sama tanpa mengetahui model yang menghasilkan setiap percubaan. Laluan penalaan halus menggunakan set tugasan dan demonstrasi yang lebih terkawal. Ini memisahkan dua soalan tentang apa yang berlaku apabila arahan baharu diberi dan sejauh mana dasar boleh menyesuaikan diri setelah melihat contoh.

Kertas kajian melaporkan kesepakatan kedudukan yang rendah bagi empat bentuk fizikal robot. Laman projek boleh menyenaraikan perkakasan penilaian aktif yang lebih banyak dan lebih baharu. Gunakan skop kajian ketika menerangkan angkanya. Inventori platform awam menggambarkan perkara yang ditawarkan sekarang, manakala kertas kajian menggambarkan eksperimen pada masa tertentu.

Perhatikan bagaimana kegagalan berlaku

Menilai kemajuan separa. Ilustrasi asal Telli.sh.

Kajian melaporkan bahawa tiada dasar yang diuji menyiapkan lima tugasan pada satu konfigurasi Unitree G1. Skor kemajuan tetap berbeza. Perbezaan itu membantu orang memahami sama ada model gagal pada langkah pertama atau hampir selesai. Dapatan ini terpakai pada tugas dan dasar tersebut dalam keadaan kajian.

Bayangkan tugas pengisihan dengan lima peringkat, iaitu mengenal pasti objek, menghampirinya, mencengkam, mengalihkannya dan melepaskannya di tempat yang betul. Model yang konsisten sampai ke peringkat melepaskan mungkin berbaloi dibaiki jika langkah terakhir mudah. Jika kegagalan menyebabkan objek berat terjatuh, skor kemajuan yang sama tinggi memberi sedikit jaminan operasi. Kemajuan separa memberitahu tempat untuk disiasat. Akibat fizikal menentukan sama ada kelakuan itu sesuai di tempat kerja.

Percubaan semula mudah terlepas pandang dalam demo singkat. Pada barisan yang sibuk, percubaan semula mengambil masa dan mungkin memerlukan seseorang menetapkan semula kawasan kerja. Kejayaan sepuluh saat yang diikuti pemulihan seminit pada sesetengah cubaan boleh menghasilkan daya pemprosesan lebih rendah daripada dasar yang lebih perlahan tetapi kurang memerlukan campur tangan. Ukur kejayaan dan masa pemulihan sepanjang kitaran yang mencukupi untuk melihat gangguan yang penting.

Semakan visual berguna di sini. Simpan klip untuk beberapa kejayaan penuh, percubaan separa dan kegagalan dengan punca yang berbeza. Video yang tamat sebaik sahaja objek dicengkam mungkin meninggalkan fasa pelepasan. Penilai yang melihat keseluruhan percubaan boleh membezakan kerja yang selesai daripada gerakan yang kelihatan meyakinkan.

Percubaan lapangan boleh belajar daripada perbandingan kajian

Percubaan sepatutnya bermula dengan kerja yang memang diperlukan di tapak. Gudang mungkin perlu mengendalikan bekas bercampur dengan bungkusan yang memantulkan cahaya dan sesekali kotak remuk. Makmal mungkin perlu melakukan beberapa serahan yang melibatkan alat kecil. Tugas, keadaan permulaan dan hasil yang dijangka menjadikan ujian boleh diulang serta membantu vendor memahami perkara yang perlu dibaiki.

1. Pilih tugas yang kejayaannya boleh diperhatikan. Catat susunan awal dan keadaan yang menandakan tugas selesai. Sertakan objek yang mewakili kerja sebenar dan beberapa kes yang mencabar tetapi relevan.
2. Rekod robot, sensor, efektor hujung, keadaan tapak dan versi dasar. Jika boleh, jalankan dasar yang bersaing dengan persediaan dan arahan tempatan yang sama.
3. Asingkan percubaan terus dengan tetapan asal daripada percubaan selepas penyesuaian. Rekod bilangan demonstrasi dan jumlah kerja untuk menyesuaikannya, serta contoh yang diasingkan.
4. Perhatikan kejayaan penuh, kemajuan separa, masa siap dan campur tangan. Kekalkan rekod percubaan yang gagal ketika persediaan atau memerlukan operator menetapkan semula keadaan.
5. Ulang ujian pada syif atau lokasi yang mengubah keadaan berkaitan. Contohnya, gunakan campuran objek yang berbeza atau ukur kelakuan apabila tugas bermula sedikit tersasar dari tengah.
6. Nilai kawalan pelaksanaan dan keselamatan fizikal bersama kakitangan yang berkelayakan mengikut prosedur tempatan. Penanda aras kajian mengukur kelakuan dasar. Penilaian tempat kerja juga perlu mengambil kira orang dan peralatan berhampiran robot.

Jika pasukan menilai perbezaan kualitatif, cuba semak klip yang dinyahnamakan secara berpasangan. Beri penilai takrif bertulis bagi kelakuan yang boleh diterima dan cara menandakan percubaan yang tidak selamat atau tidak boleh digunakan. Simpan metadata yang mencukupi untuk memahami perbezaan penilaian selepas itu. Menyembunyikan identiti boleh mengurangkan kecenderungan terhadap jenama, manakala rubrik bersama membantu penilai di tapak berlainan menilai hasil yang sama.

Bandingkan laluan penilaian sebelum membandingkan dasar

Open Track dan Fine-tune Track mengemukakan soalan yang berkaitan dengan reka bentuk eksperimen berbeza. Open Track menggunakan 5,699 perbandingan berpasangan di 124 tapak, seperti yang dilaporkan dalam pracetak. Percubaan berpasangan menunjukkan prestasi dua dasar apabila tugas dan tapaknya setara. Angka itu tidak bermaksud setiap robot diuji pada setiap tugas di semua tapak.

Fine-tune Track menggunakan 100 demonstrasi bagi setiap tugas merentasi 20 tugasan dalam penilaian yang dilaporkan. Pengarang melaporkan Unitree G1 tidak menyiapkan mana-mana daripada lima tugasan yang dinilai dalam laluan itu, dengan purata skor kemajuan antara 13.3% hingga 23.2%. Skor separa memberi lebih banyak maklumat tentang jurang itu berbanding satu angka sifar pada hasil akhir. Skor menunjukkan bahawa dasar boleh menghasilkan kemajuan yang dapat dilihat menurut rubrik walaupun tugas belum selesai.

Pengarang melaporkan pekali kesepakatan Kendall 0.24 bagi kedudukan kemajuan merentas empat kumpulan tugas khusus perkakasan. Angka itu mengukur kesepakatan antara kedudukan, berasingan daripada peratus tugasan yang siap. Kumpulan tugas berbeza dari segi bentuk fizikal robot serta tugas dan keadaan yang digunakan. Kesepakatan lemah memberi alasan untuk mengesahkan gabungan pilihan secara tempatan. Hasil itu belum mengasingkan bentuk robot sebagai punca perbezaan kedudukan.

Padankan dua syif dalam percubaan lapangan

Andaikan pusat pengedaran mahu robot mengalihkan pelapik bungkusan yang sama dari dulang ke kotak karton dalam dua syif. Operator mendapati syif petang menerima dulang yang berbeza dan kurang cahaya semula jadi. Jalankan kedua-dua dasar calon dalam kedua-dua keadaan supaya perbezaan tapak masih dapat dilihat. Selang-selikan urutan dalam setiap syif supaya bateri yang semakin lemah, lekapan yang berganjak atau pengalaman operator tidak sentiasa memihak kepada calon yang sama.

Catat kedudukan dan orientasi awal objek, tetapan sensor atau pencahayaan yang dibenarkan, cara pekerja boleh campur tangan dan kriteria penempatan selesai. Simpan video percubaan gagal dan nota campur tangan. Jika satu dasar bertambah baik hanya selepas dulang diubah kedudukannya, campur tangan itu mungkin lebih berkaitan dengan pelaksanaan berbanding purata akhir. Pemerhatian itu boleh membawa kepada perubahan lekapan atau pemilihan kes yang lebih baik untuk ujian dasar seterusnya.

Borang pemarkahan yang berguna memberi markah separa bagi peringkat yang boleh diperhatikan. Pencengkam yang menemui pelapik betul tetapi tidak dapat mengangkatnya memerlukan pembaikan berbeza daripada pencengkam yang mengangkatnya tetapi tersasar daripada kotak. Gunakan takrif ringkas bagi setiap peringkat supaya dua penilai boleh mentafsir percubaan secara konsisten. Tambah kategori berasingan bagi hentian selamat. Percubaan yang berhenti kerana pekerja memasuki kawasan mungkin telah bertindak betul walaupun tugas tidak selesai.

Tentukan bukti yang mewajarkan langkah seterusnya

Demo makmal yang berjaya boleh mewajarkan percubaan di tapak, dan percubaan di tapak yang berjaya boleh mewajarkan perintis yang lebih lama. Setiap keputusan ada ambang penerimaan sendiri. Pasukan pembelian boleh meminta hasil yang boleh diulang pada dua syif biasa sebelum membincangkan peluasan ke kawasan yang kurang boleh diramal. Penyelidik boleh meminta label kegagalan dan syarat ulangan sebelum mendakwa dasar berjaya dipindahkan.

Apabila hasil bercanggah, rekod perkara yang berubah antara keadaan dan tindakan yang tidak berjaya. Kedudukan yang terbalik boleh mendedahkan tugasan yang tidak diwakili oleh penanda aras asal. Ini membantu pasukan memutuskan sama ada memerlukan robot lain, dasar berbeza, sel kerja yang diubah suai atau ujian yang lebih mewakili kerja sebenar.

Lihat perubahan kedudukan dalam kertas kajian

Fine-tune Track memberikan contoh perubahan kedudukan merentas empat kumpulan tugas. π0.5 menduduki tempat pertama dalam kedudukan kemajuan pada Franka dan Bimanual-YAM, serta keempat pada G1. GR00T N1.7 mendahului kumpulan SO-101 dan menduduki tempat keempat pada Franka dan Bimanual-YAM. Hasil itu merujuk kepada kumpulan tugas dan metrik kemajuan yang dilaporkan. Pasukan perolehan boleh melihat turutan itu sebagai contoh perubahan kedudukan apabila gabungan tugas, keadaan dan perkakasan bertukar.

Kertas kajian turut meneliti pemilihan aktif bagi menentukan perbandingan yang perlu dijalankan. Dalam analisisnya, kira-kira 400 hingga 500 penilaian yang dipilih secara adaptif mencapai sekitar 90% kesepakatan dengan kedudukan menggunakan data penuh, berbanding kira-kira 1,000 dengan pemilihan seragam. Dapatan itu terpakai kepada reka bentuk penilaian tersebut. Idea yang berguna untuk percubaan tempatan ialah menambah ulangan pada kes yang sukar membezakan calon terbaik sambil mengekalkan bilangan minimum tetap bagi kes yang mewakili kerja.

Sesebuah kemudahan boleh mengasingkan pusingan awal daripada pusingan adaptif. Dalam pusingan awal, beri kedua-dua calon tugas dan dasar campur tangan yang sama. Dalam pusingan kedua, ulang keadaan apabila bukti awal bercampur. Kekalkan peraturan penerimaan asal. Jika satu keadaan dikecualikan atas sebab keselamatan atau kekangan praktikal, rekod sebabnya. Laporan akhir patut menerangkan cara percubaan tambahan mengubah keputusan.

Dapatkan maklumat tentang kerja yang paling penting

Penilaian teragih boleh menghimpunkan pelbagai keadaan yang sukar dihasilkan semula oleh sebuah makmal. Percubaan tempatan memberikan pemahaman lebih mendalam tentang kerja yang menjadi tanggungjawab pasukan anda. Kedua-dua pendekatan saling melengkapi. Gunakan bukti luas untuk mencari calon yang berpotensi, kemudian reka penilaian sendiri untuk mengetahui pengecualian yang menentukan kegunaan sistem.

Perbandingan paling kukuh ialah perbandingan yang boleh diulang pasukan selepas dasar baharu atau perubahan perkakasan. Simpan tugas, konfigurasi dan contoh kegagalan bersama skor. Apabila kedudukan berubah, maklumat itu membantu menentukan sama ada perubahan tersebut memperbaik kerja.

Sumber

• Kertas kajian RoboColosseum, bahagian penilaian 4.3–4.5

• Pracetak RoboColosseum versi 2 November

• Projek RoboColosseum dan paparan penilaian awam

---

Untuk menyimpan rekod perbualan dan keputusan di sebalik kerja anda yang boleh dicari, Cipta akaun Telli.sh.