Bisakah Anda mengubah instruksi robot ketika robot sedang bergerak?

Robot sedang memilah balok busa ketika wadah merah penuh. Balok berikutnya sudah berada dalam penjepit. Antarmuka operator yang berguna harus memungkinkan seseorang mengalihkan langkah berikutnya, menanyakan apa yang terlihat kamera, atau menghentikan sesi. Setiap tindakan membawa konsekuensi berbeda ketika penjepit sedang menahan beban.

Pada 5 November, Hugging Face merilis LeRobot 0.7.0, versi baru perangkat sumber terbuka untuk mengumpulkan demonstrasi robot, melatih kebijakan kendali, dan menjalankannya pada perangkat fisik. Sesi eksekusi interaktif menjaga koneksi robot dan kebijakan yang telah dimuat tetap siap saat operator memberi instruksi baru melalui terminal. Kebijakan yang kompatibel atau perencana eksternal juga dapat menafsirkan adegan dan menentukan subtugas lain. Rilis ini turut mengubah streaming set data, pelatihan, dan inferensi jarak jauh. Kontrol langsung patut diperhatikan karena memperluas tindakan yang bisa dilakukan operator di tengah percobaan. Pengumuman rilis LeRobot · Rilis v0.7.0

Contoh berikut adalah skenario meja uji untuk merencanakan percobaan. Skenario membedakan instruksi kepada model, tindakan yang dikirim pengendali, dan hasil yang bisa diamati setelahnya.

Dudukan kamera pergelangan SO-101 yang difoto The Robot Studio. Foto ini menunjukkan contoh posisi kamera yang didukung perangkat keras tersebut dan berasal dari proyek SO-ARM100 dengan lisensi Apache 2.0. Telli.sh mengubah ukuran foto dan menambahkan tepi.

Tiga perintah memberi operator tiga cara bekerja

Perintah interaktif dan peran masing-masing. Ilustrasi asli Telli.sh.

Rollout adalah sesi berjalan ketika kebijakan menerima pengamatan dan menghasilkan tindakan. Pengamatan bisa meliputi gambar kamera dan posisi sendi terukur. Pada versi 0.7, menambahkan --interactive=true ke sesi lerobot-rollout yang telah dikonfigurasi menjaga koneksi robot, bobot kebijakan, dan pemroses tetap dimuat di antara instruksi. Rilis menunjukkan lima perintah terminal. /start dan /stop mengapit tiga cara mengarahkan atau menanyakan sesi yang berjalan. Pengumuman rilis LeRobot · Dokumentasi eksekusi v0.7.0

Pengumuman LeRobot menyebut FineART-VLA dan Wall-OSS-0.5 sebagai contoh kebijakan yang dapat menghasilkan teks untuk jalur pertanyaan dan tujuan. Model visi-bahasa eksternal yang kompatibel bisa menyediakan kemampuan itu bagi kebijakan tindakan yang tidak menghasilkan teks. Rilis menjelaskan penggunaan API yang kompatibel dengan OpenAI untuk perencana, baik dijalankan lokal maupun dihosting. Perencana eksternal bisa menjawab pertanyaan visual dan memberikan instruksi. Kebijakan tindakan tetap bertanggung jawab mengubah subtugas menjadi tindakan robot. Eksekusi interaktif dan perencana eksternal · Dokumentasi eksekusi v0.7.0

Perbedaannya terlihat pada meja kerja yang penuh. Jika kamera tidak bisa melihat bibir wadah, jawaban lancar tentang wadah itu tetap memberi bukti lemah. Jika perencana memilih balok biru dengan benar lalu balok terlepas dari penjepit, lapisan bahasa berhasil tetapi upaya fisik gagal. Memisahkan pertanyaan, tindakan kebijakan, dan hasil membantu memutuskan apakah kamera harus dipindah, instruksi direvisi, atau cengkeraman diperbaiki.

Ubah sasaran dengan tugas yang tetap kecil

Gunakan dua wadah berwarna, tiga balok lunak, dan satu lengan yang didukung. Mulai dari tugas yang sudah dikenal, seperti mengambil balok merah, lalu pilih sasaran kedua yang sebelumnya berhasil ditangani kebijakan dalam kondisi serupa. Pada percobaan pertama, minta perubahan sebelum kontak. Setelah perubahan terlihat, ulangi dari posisi awal baru dan kirim instruksi lebih lambat dalam gerakan. Instruksi saat lengan bergerak dan instruksi setelah penjepit menutup menuntut hal yang berbeda dari kebijakan.

Amati gerakan pertama menuju sasaran baru dan posisi akhir balok. Stempel waktu video bisa menunjukkan kapan pengalihan mulai terlihat. Stempel terminal menunjukkan kapan Anda mengetiknya. Catat keduanya untuk menafsirkan jeda, termasuk saat perangkat lunak menerima masukan tetapi gerakan baru sulit dikenali. Kondisi berhenti yang ditetapkan sebelumnya mencegah operator menunggu koreksi tanpa batas.

Contoh kedua adalah merapikan meja setelah pengujian. Mulai dengan satu benda yang salah tempat dan tanyakan apa yang masih berada di meja. Coba pandangan tanpa halangan dan pandangan terhalang sebelum meminta sistem membersihkan area. Jika jawaban visual berubah menurut sudut kamera, pertimbangkan susunan adegan atau persempit tujuan. Berikan satu tindakan yang sudah dikenal pada satu waktu sambil mempelajari perilaku kebijakannya.

Untuk percobaan ketiga, berikan /autosteer tujuan seperti memindahkan dua balok busa ke satu baki. Catat keputusan antara yang dibuat sistem. Sistem mungkin memilih benda pertama yang masuk akal tetapi memerlukan bantuan jika benda kedua di luar jangkauan. Jalur tujuan paling berguna ketika setiap subtugas bisa dibandingkan dengan urutan yang diharapkan. Jejaknya membantu mengetahui apakah perencana memilih langkah keliru atau robot kesulitan menjalankan langkah yang benar.

Penghentian perangkat lunak dan penghentian mesin perlu diuji sendiri

Sesi interaktif menempatkan instruksi dekat dengan orang yang mengawasi robot. Ada pula jeda ketika operator mengira instruksi baru sudah berlaku sementara robot masih bergerak menurut instruksi sebelumnya. Catat empat kejadian terpisah: waktu pengiriman instruksi, konfirmasi dari pelaksana jika tersedia, perubahan perilaku pertama yang terlihat, dan keadaan akhir robot. Jika tidak ada konfirmasi, kosongkan bagian itu. Tiga kejadian lain tetap memberi informasi.

Dokumentasi penerapan LeRobot versi ini menjelaskan fungsi tahan perangkat lunak untuk robot yang didukung dalam alur koreksi. Fungsi itu mengirim ulang target posisi terakhir dari driver. Lengan yang membawa beban masih bisa bergerak menuju target tersebut, dan perilaku penjepit perlu diperiksa pada mesin fisik. Antarmuka bahasa berjalan di atas mekanisme itu. Pertahankan prosedur penghentian fisik dan pengawasan yang sesuai perangkat, lalu pastikan efeknya pada area kerja kosong sebelum membuat perubahan langsung. Dokumentasi eksekusi v0.7.0

Catat kapan pengalihan dikirim, kapan gerakan berubah, dan bagaimana sesi berakhir. Ilustrasi asli Telli.sh.

Hal ini mengubah cara menilai sesi yang terlihat berhasil. Satu balok di baki yang benar bisa menyembunyikan dua gerakan buruk yang harus dihentikan operator. Catat seberapa sering orang turun tangan dan apakah pemulihan bisa dimulai dari keadaan yang tersisa. Kebijakan yang dapat melanjutkan setelah kegagalan biasa memberi pekerjaan berbeda kepada operator dibandingkan kebijakan yang membutuhkan reset penuh setiap kali salah. Ukur perbedaannya pada sesi sebanding, dengan area kerja dan benda yang sama.

FineART memasukkan langkah antara ke data pelatihan

Rilis ini juga mengubah cara menggunakan demonstrasi. Jika rekaman hanya menampilkan awal yang rapi dan akhir yang berhasil, sulit mengetahui perilaku yang perlu dipelajari kebijakan ketika instruksi berubah. Label subtugas menambah informasi tentang transisi seperti mencengkeram benda, meletakkannya, atau beralih ke benda berikutnya.

Hugging Face dan Scale AI melaporkan lebih dari 40.000 episode dua tangan, 1.718 jam, dan lebih dari 533.000 anotasi subtugas untuk FineART. Rilis 5 November menyebut data 1,9 TB dalam format LeRobot. FineART-VLA dikembangkan dari π0.5 dan menambahkan bagian keluaran bahasa yang dapat memprediksi subtugas verbal sebelum komponen tindakan menggerakkan robot. Angka tersebut menggambarkan set data penulis, dan pemisahan bahasa serta tindakan menggambarkan desain modelnya. Penjepit berbeda, kamera berpandangan sempit, dan benda yang tidak ada di data pelatihan tetap mengubah evaluasi yang diperlukan. Pengumuman dan penjelasan FineART · Dokumentasi FineART-VLA

Saat mengumpulkan set data koreksi kecil, tentukan apa yang akan direproduksi nanti. Sertakan instruksi baru, pandangan kamera terkait, keadaan pada saat perubahan, dan hasil yang teramati. Label “wadah merah kini penuh” berbeda fungsi dari instruksi “letakkan balok merah berikutnya di baki kosong.” Yang pertama menggambarkan keadaan. Yang kedua memberi tahu kebijakan apa yang perlu dilakukan. Simpan keduanya jika eksperimen membutuhkan keduanya. Simpan pula contoh gagal agar kebijakan mendatang dapat diuji pada kejadian yang memicu pekerjaan itu.

Uji pertama cukup dilakukan di satu meja

1. Tetapkan versi dan pilih kombinasi yang didukung. Instal LeRobot 0.7.0 mengikuti petunjuk versi tersebut. Pastikan robot, konfigurasi kamera, dan kebijakan berfungsi pada tugas awal yang dikenal. Catatan 5 November menyebut build PyTorch Linux bawaan sekarang memakai CUDA 13 dan membutuhkan driver NVIDIA 580.65 atau lebih baru. Driver yang lebih lama memerlukan pemasangan alternatif yang didokumentasikan. Pisahkan perubahan driver dari uji perilaku robot. Dokumentasi pemasangan · Rilis v0.7.0

2. Jalankan satu episode dasar sebelum menambahkan pengalihan. Gunakan meja kosong, gerakan terbatas, dan pengawasan yang sesuai untuk lengan. Simpan pose awal serta sasaran dan catat apakah tugas selesai. Pertahankan letak kamera, pencahayaan, dan benda saat membandingkan sesi dasar dengan sesi yang diarahkan ulang. Dokumentasi penyiapan SO-101

3. Tambahkan opsi interaktif ke sesi yang sudah bekerja. Dari terminal, mulai sesi, berikan satu subtugas, ubah sekali, lalu akhiri. Berikut perintah sesi terminal dari rilis dengan contoh kalimat tugas. Dokumentasi sesi interaktif

   Teks biasa

   /start
   /subtask move the red block to the tray
   /subtask move the blue block to the tray
   /stop
   

4. Tambahkan pertanyaan visual dan tujuan kecil setelah sesi dasar bisa diulang. Pilih kebijakan penghasil teks atau atur perencana eksternal sesuai dokumentasi. Mulai dari pertanyaan yang dapat dijawab dengan kamera yang sama. Uji tujuan dengan kondisi akhir yang terlihat dan catat apa yang terjadi jika perencana tidak tersedia atau tidak memberi subtugas yang berguna. Endpoint eksternal juga mengubah tempat pengamatan diproses, terutama jika kamera melihat area di luar meja uji. Dokumentasi perencana eksternal

5. Bandingkan pemulihan dan penyelesaian. Ulangi beberapa kali dalam kondisi sebanding dan simpan tiap kegagalan. Catat apakah operator bisa memahami kejadian, memilih tindakan yang sesuai, dan mengonfirmasi keadaan akhir. Sejumlah kecil sesi membantu memperbaiki penyiapan. Klaim keandalan memerlukan jauh lebih banyak bukti dalam kondisi yang benar-benar diperkirakan.

Versi 0.7.0 juga mengganti antarmuka inferensi asinkron sebelumnya dengan server kebijakan dan mode eksekusi jarak jauh. Jika kelak memindahkan inferensi ke server GPU, ulangi uji waktu dan interupsi dengan koneksi nyata. Server dapat menyediakan komputasi lebih banyak, sementara jaringan menjadi dependensi antara pengamatan baru dan tindakan berikutnya. Koneksi lambat atau terputus perlu diuji tersendiri. Perubahan yang memutus kompatibilitas v0.7.0 · Dokumentasi inferensi jarak jauh

Uji paling menarik terjadi di tengah tugas

Momen menarik dalam demo robot adalah saat langkah yang diharapkan tidak lagi masuk akal. Wadah penuh, benda berpindah, atau operator melihat sesuatu yang terlewat kamera. Kontrol terminal LeRobot menjadikan momen itu bagian dari eksperimen. Pertanyaannya adalah apakah pengawas bisa mengetahui perubahan, mengalihkan tindakan berikutnya, dan melihat sendiri hasilnya.

Sumber

• Foto dudukan kamera SO-101 dari The Robot Studio dan lisensi repositori

• Pengumuman LeRobot v0.7.0 dari Hugging Face, 5 November 2026

• Rilis GitHub LeRobot v0.7.0 dan catatan peningkatan

• Penerapan kebijakan dan sesi interaktif LeRobot v0.7.0

• Dokumentasi SO-101 untuk LeRobot v0.7.0

---

Agar keputusan dan eksperimen di balik pekerjaan mudah dicari, buat akun Telli.sh.