Bolehkah anda mengubah arahan robot ketika ia sedang bergerak?

Robot sedang mengasingkan blok buih apabila bekas merah penuh. Blok seterusnya sudah berada dalam pencengkam. Antara muka operator yang berguna patut membolehkan seseorang mengubah langkah berikutnya, bertanya perkara yang dilihat kamera atau menghentikan larian. Setiap tindakan membawa kesan berbeza apabila pencengkam sedang menahan beban.

Pada 5 November, Hugging Face mengeluarkan LeRobot 0.7.0, versi baharu peralatan sumber terbuka untuk mengumpulkan demonstrasi robot, melatih dasar kawalan dan menjalankannya pada perkakasan. Sesi pelaksanaan interaktif mengekalkan sambungan robot dan dasar yang dimuatkan sementara operator memberikan arahan baharu daripada terminal. Dasar yang serasi atau perancang luaran juga boleh mentafsirkan babak dan menentukan subtugas lain. Keluaran ini turut mengolah semula penstriman set data, latihan dan inferens jauh. Kawalan langsung patut diteliti kerana ia mengubah tindakan yang boleh dibuat operator di tengah eksperimen. Pengumuman keluaran LeRobot · Keluaran v0.7.0

Contoh berikut ialah senario meja ujian untuk merancang rintis. Ia membezakan perkara yang diminta daripada model, tindakan yang dihantar pengawal dan hasil yang boleh diperhatikan selepas itu.

Lekapan kamera pergelangan SO-101 yang difoto oleh The Robot Studio. Foto ini menunjukkan contoh kedudukan kamera yang disokong perkakasan tersebut dan berasal daripada projek SO-ARM100 di bawah Apache 2.0. Telli.sh mengubah saiz foto dan menambah ruang di tepinya.

Tiga arahan memberikan tiga tugas kepada operator

Arahan interaktif dan peranan masing-masing. Ilustrasi asal Telli.sh.

Rollout ialah sesi pelaksanaan ketika dasar menerima pemerhatian dan menghasilkan tindakan. Pemerhatian boleh termasuk imej kamera dan kedudukan sendi yang diukur. Dalam versi 0.7, menambah --interactive=true kepada sesi lerobot-rollout yang dikonfigurasi mengekalkan sambungan robot, pemberat dasar dan pemproses antara arahan. Keluaran menunjukkan lima arahan terminal. /start dan /stop mengapit tiga cara mengarah atau bertanya kepada sesi yang sedang berjalan. Pengumuman keluaran LeRobot · Dokumentasi pelaksanaan v0.7.0

Pengumuman LeRobot menyebut FineART-VLA dan Wall-OSS-0.5 sebagai contoh dasar yang boleh menjana teks untuk laluan soalan dan matlamat. Model penglihatan-bahasa luaran yang serasi boleh membekalkan keupayaan itu kepada dasar tindakan yang tidak menjana teks. Keluaran menerangkan penggunaan API yang serasi dengan OpenAI untuk perancang, sama ada dihoskan setempat atau di luar. Perancang luaran boleh menjawab soalan visual dan memberikan arahan kepada dasar. Dasar tindakan tetap bertanggungjawab menukar subtugas menjadi tindakan robot. Pelaksanaan interaktif dan perancang luaran · Dokumentasi pelaksanaan v0.7.0

Perbezaan itu boleh dilihat pada meja yang penuh. Jika kamera tidak nampak bibir bekas, jawapan yang lancar tentang bekas itu masih memberikan bukti yang lemah. Jika perancang memilih blok biru dengan betul tetapi blok terlepas daripada pencengkam, lapisan bahasa berjaya manakala percubaan fizikal gagal. Memisahkan soalan, tindakan dasar dan hasil membantu menentukan sama ada kamera perlu dialih, arahan perlu dipinda atau cengkaman perlu diperbaik.

Tukar sasaran sambil mengecilkan skop tugas

Pertimbangkan dua bekas berwarna, tiga blok lembut dan satu lengan yang disokong. Mulakan dengan tugas biasa seperti mengambil blok merah. Pilih sasaran kedua yang dasar sudah berjaya tangani dalam keadaan yang serupa. Pada larian pertama, minta perubahan sebelum sentuhan. Selepas operator nampak perubahan berlaku, ulang daripada keadaan awal yang baharu dan perkenalkan perubahan lebih lewat dalam gerakan. Arahan sewaktu lengan bergerak dan arahan selepas pencengkam tertutup meletakkan tuntutan berbeza pada dasar.

Perhatikan pergerakan pertama ke arah sasaran baharu dan tempat blok berhenti. Cap masa video boleh menunjukkan bila perubahan arah mula terlihat. Cap masa terminal menunjukkan bila anda menaipnya. Merekodkan kedua-duanya membantu mentafsir kelewatan, termasuk ketika perisian menerima input tetapi gerakan baharu sukar dikesan. Keadaan henti yang ditetapkan lebih awal menghalang operator daripada menunggu pembetulan tanpa had.

Contoh kedua ialah mengemas semula meja selepas ujian. Mulakan dengan satu objek yang tersalah letak dan tanya perkara yang masih berada di atas meja. Cuba pandangan jelas dan pandangan yang terhalang sebelum meminta sistem mengosongkan ruang kerja. Jika jawapan visual berubah mengikut sudut kamera, susun semula babak atau kecilkan skop matlamat. Beri satu tindakan yang telah biasa pada satu masa sambil mempelajari tingkah laku dasarnya.

Untuk larian ketiga, berikan /autosteer matlamat seperti memindahkan dua blok buih ke dalam satu dulang. Tulis pilihan perantaraan yang dibuat sistem. Ia mungkin memilih objek pertama yang munasabah tetapi memerlukan bantuan apabila objek kedua di luar jangkauan. Laluan matlamat berguna apabila setiap subtugas boleh dibandingkan dengan urutan jangkaan. Jejak itu menunjukkan sama ada perancang memilih langkah yang salah atau robot sukar melaksanakan langkah yang baik.

Henti perisian dan henti mesin perlu diuji berasingan

Sesi interaktif mendekatkan arahan kepada orang yang mengawasi robot. Ia juga mewujudkan sela apabila orang menyangka arahan baharu sudah berkuat kuasa walaupun pergerakan lama masih kelihatan. Rintis yang berguna merekodkan empat peristiwa. Catat bila arahan dihantar, bila pelaksana mengakuinya jika isyarat itu tersedia, bila perubahan tingkah laku pertama dilihat dan keadaan akhir robot. Jika tiada pengakuan, biarkan ruang itu kosong. Tiga catatan lain masih berguna.

Dokumentasi penerapan LeRobot bagi versi ini menerangkan fungsi tahan perisian pada robot yang disokong dalam aliran pembetulan. Ia menyegarkan sasaran kedudukan terakhir yang digunakan pemacu. Lengan yang membawa beban masih boleh bergerak ke arah sasaran, dan tingkah laku pencengkam perlu disemak pada mesin sebenar. Antara muka bahasa berada di atas mekanik tersebut. Kekalkan prosedur henti fizikal dan pengawasan yang sesuai, serta sahkan kesannya di ruang kerja yang lapang sebelum menambah perubahan langsung. Dokumentasi pelaksanaan v0.7.0

Catat bila arahan mengubah arah dihantar, bila gerakan berubah dan cara larian berakhir. Ilustrasi asal Telli.sh.

Ini mengubah cara menilai larian yang kelihatan berjaya. Satu blok dalam dulang yang tepat boleh menyembunyikan dua gerakan buruk yang dihentikan operator. Jejaki kekerapan campur tangan dan sama ada pemulihan boleh dibuat daripada keadaan yang ditinggalkan. Dasar yang boleh menyambung selepas kegagalan biasa memberi operator tugas yang berbeza daripada dasar yang memerlukan tetapan semula penuh setiap kali berlaku kesilapan. Ukur perbezaan itu dalam larian sepadan dengan ruang kerja dan objek yang sama.

FineART memasukkan langkah perantaraan dalam data latihan

Keluaran ini juga mengubah cara menggunakan demonstrasi. Jika rakaman hanya menunjukkan permulaan yang kemas dan pengakhiran yang berjaya, mungkin sukar menentukan tingkah laku yang perlu dipelajari dasar apabila arahan berubah. Label subtugas memberi maklumat lanjut tentang peralihan seperti menggenggam objek, meletakkannya atau beralih kepada objek seterusnya.

Hugging Face dan Scale AI melaporkan lebih 40,000 episod dua tangan, 1,718 jam dan lebih 533,000 anotasi subtugas untuk FineART. Keluaran 5 November menyatakan saiz data 1.9 TB dalam format LeRobot. FineART-VLA dibina berasaskan π0.5 dan menambah kepala bahasa yang boleh meramalkan subtugas lisan sebelum komponen tindakan melaksanakan pergerakan. Angka itu menerangkan set data pengarang, manakala pemisahan bahasa dan tindakan menerangkan reka bentuk model. Pencengkam berbentuk lain, kamera dengan pandangan sempit dan objek di luar data latihan masih mengubah penilaian yang perlu dilakukan. Pengumuman dan penerangan FineART · Dokumentasi FineART-VLA

Apabila mengumpulkan set data pembetulan kecil, tentukan perkara yang mahu diulang kemudian. Sertakan arahan baharu, pandangan kamera yang berkaitan, keadaan ketika perubahan dan hasil yang diperhatikan. Label “bekas merah kini penuh” memainkan peranan berbeza daripada arahan “letakkan blok merah seterusnya dalam dulang kosong.” Yang pertama menerangkan keadaan. Yang kedua memberitahu dasar tindakan yang perlu dibuat. Simpan kedua-duanya jika diperlukan. Simpan juga contoh kegagalan supaya dasar akan datang boleh diuji pada peristiwa yang mencetuskan kerja itu.

Rintis pertama boleh dibuat pada satu meja

1. Tetapkan versi dan pilih gabungan yang disokong. Pasang LeRobot 0.7.0 mengikut panduan versi projek. Sahkan robot, konfigurasi kamera dan dasar pilihan berfungsi pada tugas awal yang diketahui. Nota keluaran 5 November menyatakan binaan PyTorch Linux lalai menggunakan CUDA 13 dan memerlukan pemacu NVIDIA 580.65 atau lebih baharu. Pemacu lama memerlukan kaedah pemasangan alternatif yang didokumenkan. Jadikan perubahan pemacu dan tingkah laku robot sebagai eksperimen berasingan. Dokumentasi pemasangan · Keluaran v0.7.0

2. Jalankan satu episod asas sebelum mengubah arah. Gunakan meja lapang, gerakan terhad dan aturan pengawasan yang sesuai untuk lengan. Simpan pose awal dan sasaran, kemudian catat sama ada tugas selesai. Kekalkan kedudukan kamera, pencahayaan dan objek apabila membandingkan larian asas dengan larian terarah. Dokumentasi persediaan SO-101

3. Tambah pilihan interaktif kepada sesi yang sudah berfungsi. Mulakan sesi daripada terminal, berikan satu subtugas, ubah sekali dan tamatkan larian. Ini ialah arahan sesi terminal daripada keluaran, dengan ayat tugas sebagai contoh. Dokumentasi sesi interaktif

   Teks biasa

   /start
   /subtask move the red block to the tray
   /subtask move the blue block to the tray
   /stop
   

4. Tambah soalan visual dan matlamat kecil selepas larian asas boleh diulang. Pilih dasar yang menjana teks atau konfigurasikan perancang luar mengikut dokumentasi. Mulakan dengan soalan yang boleh dijawab menggunakan kamera yang sama. Uji matlamat dengan keadaan tamat yang boleh dilihat dan catat apa yang berlaku jika perancang tidak tersedia atau tidak menghasilkan subtugas berguna. Titik akhir luaran turut mengubah tempat pemerhatian diproses, terutama jika kamera melihat lebih jauh daripada meja ujian. Dokumentasi perancang luaran

5. Bandingkan pemulihan bersama penyelesaian. Buat beberapa ulangan sepadan dan simpan setiap kegagalan. Catat sama ada operator dapat melihat apa yang berlaku, memilih campur tangan yang sesuai dan mengesahkan keadaan akhir. Beberapa larian membantu memperhalusi persediaan. Dakwaan kebolehpercayaan memerlukan jauh lebih banyak bukti dalam keadaan yang benar-benar dijangka.

Versi 0.7.0 turut menggantikan antara muka inferens tak segerak terdahulu dengan pelayan dasar dan mod pelaksanaan jauh. Jika inferens akhirnya dipindahkan ke pelayan GPU, ulang ujian masa dan gangguan pada sambungan sebenar. Pelayan boleh menyediakan lebih kuasa pengiraan, manakala rangkaian menambah kebergantungan antara pemerhatian baharu dengan tindakan seterusnya. Sambungan perlahan atau tidak tersedia merupakan kes ujian tersendiri. Perubahan tidak serasi v0.7.0 · Dokumentasi inferens jauh

Ujian terbaik berlaku di pertengahan tugas

Detik menarik dalam demonstrasi robot ialah apabila langkah jangkaan tidak lagi masuk akal. Bekas penuh, objek bergerak atau operator melihat perkara yang terlepas daripada kamera. Kawalan terminal LeRobot membolehkan detik itu menjadi sebahagian daripada eksperimen. Persoalannya ialah sama ada penyelia dapat mengenal pasti perubahan, mengarah semula tindakan seterusnya dan mengesahkan hasil dengan mata sendiri.

Sumber

• Foto lekapan kamera SO-101 oleh The Robot Studio dan lesen repositori

• Pengumuman LeRobot v0.7.0 oleh Hugging Face, 5 November 2026

• Keluaran GitHub LeRobot v0.7.0 dan nota naik taraf

• Penerapan dasar dan sesi interaktif LeRobot v0.7.0

• Dokumentasi SO-101 untuk LeRobot v0.7.0

---

Untuk menyimpan rekod keputusan dan eksperimen yang mudah dicari, cipta akaun Telli.sh.