Có thể đổi chỉ dẫn khi robot đang di chuyển không?
LeRobot 0.7 thêm phiên chạy tương tác. Hãy thử điều hướng robot đang chạy, tách câu trả lời về hình ảnh khỏi thao tác vật lý và thiết kế thử nghiệm an toàn hơn.
Robot đang phân loại khối xốp thì thùng đỏ đầy. Khối tiếp theo đã nằm trong tay kẹp. Giao diện vận hành hữu ích nên cho phép đổi bước tiếp theo, hỏi camera thấy gì hoặc ngắt phiên. Mỗi việc có hệ quả riêng khi tay kẹp đang giữ vật.
Ngày 5 tháng 11, Hugging Face phát hành LeRobot 0.7.0, bản mới của bộ công cụ mã nguồn mở thu thao tác mẫu, huấn luyện chính sách điều khiển và chạy trên phần cứng. Phiên chạy tương tác giữ kết nối robot và chính sách đã nạp trong lúc người vận hành đưa chỉ dẫn mới từ dòng lệnh. Chính sách tương thích hoặc bộ lập kế hoạch ngoài cũng có thể diễn giải cảnh và chọn việc con khác. Bản này đồng thời làm lại truyền dữ liệu tập huấn luyện, huấn luyện và suy luận từ xa. Điều khiển trực tiếp đáng xem kỹ vì nó đổi những gì người vận hành có thể làm giữa thử nghiệm. Thông báo phát hành LeRobot · Bản v0.7.0
Các ví dụ dưới đây là kịch bản trên bàn thử để lập kế hoạch. Chúng phân biệt yêu cầu dành cho mô hình, lệnh bộ điều khiển thực sự gửi và kết quả có thể quan sát.
Giá camera cổ tay SO-101 do The Robot Studio chụp. Ảnh cho thấy một cách bố trí camera trên phần cứng này, từ dự án SO-ARM100 theo Apache 2.0. Telli.sh đã đổi kích thước và thêm lề.
Ba lệnh cho người vận hành ba việc khác nhau
Các lệnh tương tác và vai trò của từng lệnh. Minh họa do Telli.sh thực hiện.
Một phiên chạy, hay rollout, là khi chính sách nhận quan sát và sinh hành động. Quan sát có thể gồm ảnh camera và vị trí khớp đo được. Trong phiên bản 0.7, thêm --interactive=true vào phiên lerobot-rollout đã cấu hình sẽ giữ kết nối, trọng số chính sách và bộ xử lý giữa các chỉ dẫn. Bản phát hành cho thấy năm lệnh dòng lệnh, với /start và /stop mở và đóng ba cách điều hướng hoặc truy vấn phiên. Thông báo phát hành LeRobot · Tài liệu phiên chạy v0.7.0
| Lệnh dòng lệnh | Ý định của người vận hành | Kết quả cần quan sát |
|---|---|---|
/subtask | Thay chỉ dẫn cho chính sách hành động | Chuyển động tiếp theo theo mục tiêu mới hoặc người vận hành can thiệp |
/vqa | Hỏi robot đang nhìn thấy gì | Hệ thống trả lời để người vận hành đối chiếu cảnh |
/autosteer | Giao mục tiêu để hệ thống chọn việc con | Hệ thống chọn việc con và người vận hành có thể lấy lại quyền |
Thông báo LeRobot nêu FineART-VLA và Wall-OSS-0.5 là ví dụ chính sách sinh được văn bản cho đường câu hỏi và mục tiêu. Mô hình thị giác-ngôn ngữ bên ngoài tương thích có thể thêm khả năng đó cho chính sách hành động không sinh văn bản. Bản phát hành mô tả API tương thích OpenAI cho bộ lập kế hoạch chạy cục bộ hoặc trên dịch vụ. Bộ lập kế hoạch ngoài trả lời câu hỏi hình ảnh và cấp chỉ dẫn. Chính sách hành động vẫn chuyển việc con thành hành động robot. Phiên tương tác và bộ lập kế hoạch ngoài · Tài liệu phiên chạy v0.7.0
Khác biệt dễ thấy trên bàn đầy đồ. Nếu camera không thấy vành hộp, câu trả lời trôi chảy về hộp vẫn là bằng chứng yếu. Nếu bộ lập kế hoạch chọn đúng khối xanh nhưng tay kẹp trượt, tầng ngôn ngữ làm đúng còn thao tác vật lý thất bại. Tách câu hỏi, hành động và kết quả để biết nên chuyển camera, sửa chỉ dẫn hay chỉnh cách kẹp.
Đổi mục tiêu trong khi giữ nhiệm vụ nhỏ
Dùng hai thùng màu, ba khối mềm và một cánh tay được hỗ trợ. Bắt đầu bằng việc đã biết như nhặt khối đỏ, rồi chọn mục tiêu thứ hai mà chính sách từng xử lý tốt trong điều kiện tương tự. Lần đầu, yêu cầu đổi trước khi chạm. Khi đã thấy thay đổi có hiệu lực, đặt lại trạng thái và yêu cầu đổi muộn hơn trong chuyển động. Gửi chỉ dẫn khi tay đang di chuyển khác với khi kẹp đã đóng.
Quan sát chuyển động đầu tiên về mục tiêu mới và chỗ khối dừng. Mốc trong video cho thấy chuyển hướng nhìn thấy được mất bao lâu. Mốc trên dòng lệnh cho biết lúc bạn nhập. Ghi cả hai để hiểu độ trễ, kể cả khi phần mềm đã nhận nhưng khó nhìn ra động tác mới. Điều kiện dừng định trước giúp tránh đợi vô hạn một sửa đổi có thể không xảy ra.
Ví dụ thứ hai là dọn lại trạm sau bài thử. Để một đồ vật sai chỗ và hỏi hệ thống thứ gì còn trên bàn. Thử góc nhìn rõ và góc bị che trước khi yêu cầu dọn. Nếu câu trả lời đổi theo góc camera, có lý do bố trí lại cảnh hoặc thu hẹp mục tiêu. Giao một hành động quen thuộc mỗi lần để hiểu chính sách.
Lượt ba, giao /autosteer mục tiêu như dọn hai khối xốp vào một khay. Ghi các lựa chọn trung gian. Hệ thống có thể chọn vật đầu hợp lý nhưng vẫn cần giúp khi vật thứ hai ngoài tầm. Đường giao mục tiêu hữu ích khi bạn có thể so từng việc con với chuỗi đơn giản dự kiến. Dấu vết cho biết bộ lập kế hoạch chọn sai bước hay robot gặp khó với bước đúng.
Dừng ở phần mềm và dừng ở máy cần thử riêng
Phiên tương tác đưa chỉ dẫn đến sát người đang quan sát robot. Nó cũng tạo khoảng lúc người đó nghĩ lệnh đã có tác dụng trong khi robot vẫn chạy động tác trước. Hãy ghi riêng bốn sự kiện: lúc gửi lệnh, lúc trình chạy xác nhận nếu có, lúc hành vi quan sát được đổi lần đầu, và trạng thái kết thúc. Nếu không có xác nhận, để trống cột đó. Ba mốc còn lại vẫn có ích.
Tài liệu triển khai theo phiên bản mô tả chế độ giữ bằng phần mềm cho robot được hỗ trợ trong luồng hiệu chỉnh. Nó làm mới đích vị trí cuối mà trình điều khiển đã áp dụng. Tay đang mang tải vẫn có thể dịch về đích đó, và hành vi kẹp phải kiểm tra trên máy thật. Giao diện ngôn ngữ nằm trên cơ chế này. Hãy giữ quy trình dừng vật lý và giám sát của phần cứng, rồi xác minh trong không gian trống trước khi thêm lệnh trực tiếp. Tài liệu phiên chạy v0.7.0
Ghi lúc gửi đổi hướng, lúc chuyển động thay đổi và cách kết thúc. Minh họa do Telli.sh thực hiện.
Cách này đổi cách nhìn một lượt tưởng như thành công. Một khối nằm đúng khay có thể che hai thao tác sai mà người vận hành phải chặn. Ghi số lần can thiệp và tần suất có thể tiếp tục từ trạng thái còn lại. Chính sách phục hồi từ lỗi thường gặp đòi hỏi công khác với chính sách phải đặt lại sau mỗi sai sót. Đo trên các lượt tương đương, cùng bàn và đồ vật.
FineART đưa bước trung gian vào dữ liệu huấn luyện
Bản phát hành còn thay đổi cách ghi thao tác mẫu. Nếu bản ghi chỉ có khởi đầu sạch và kết thúc thành công, khó biết chính sách cần học phần nào khi chỉ dẫn đổi. Nhãn việc con cho luồng huấn luyện thêm thông tin về các chuyển tiếp như kẹp vật, đặt xuống hay chuyển sang vật tiếp.
Hugging Face và Scale AI báo cáo FineART có hơn 40.000 lượt thao tác hai tay, 1.718 giờ và hơn 533.000 chú thích việc con. Bản phát hành ngày 5 tháng 11 ghi dữ liệu 1,9 TB theo định dạng LeRobot. FineART-VLA dựa trên π0.5 và thêm đầu ngôn ngữ dự đoán việc con bằng lời trước khi phần hành động thực hiện chuyển động. Những con số mô tả dữ liệu của nhóm tác giả, còn tách ngôn ngữ và hành động là thiết kế mô hình. Tay kẹp khác hình, camera góc hẹp và đồ vật không có trong dữ liệu vẫn đổi bài đánh giá cần làm. Thông báo phát hành và mô tả FineART · Tài liệu FineART-VLA
Khi thu tập hiệu chỉnh nhỏ, xác định thứ bạn muốn tái tạo. Giữ chỉ dẫn mới, góc camera phù hợp, trạng thái lúc đổi và kết quả quan sát được. Nhãn “thùng đỏ hiện đã đầy” mô tả trạng thái. Chỉ dẫn “đặt khối đỏ tiếp theo vào khay trống” nói chính sách phải làm gì. Giữ cả hai khi cần, kể cả ví dụ thất bại, để kiểm tra chính sách sau bằng sự kiện đã dẫn tới việc sửa.
Đợt thử đầu vừa trên một bàn
-
Cố định phiên bản và chọn cặp được hỗ trợ. Cài LeRobot 0.7.0 theo hướng dẫn của bản này. Kiểm tra robot, cấu hình camera và chính sách chọn được việc quen thuộc. Ghi chú ngày 5 tháng 11 nói bản PyTorch Linux mặc định dùng CUDA 13 và cần trình điều khiển NVIDIA 580.65 trở lên trên đường này. Trình điều khiển cũ cần cách cài thay thế trong tài liệu. Thử thay trình điều khiển riêng với hành vi robot. Tài liệu cài đặt · Bản v0.7.0
-
Chạy một lượt cơ sở trước khi đổi hướng. Dùng mặt bàn trống, chuyển động giới hạn và quy trình giám sát của cánh tay. Lưu tư thế đầu và đích, ghi chính sách có hoàn thành không. Giữ vị trí camera, ánh sáng và vật khi so lượt gốc và lượt điều hướng. Hướng dẫn thiết lập SO-101
-
Thêm cờ tương tác vào phiên đã chạy tốt. Từ dòng lệnh, bắt đầu phiên, nhập một việc con, đổi một lần và kết thúc. Đây là các lệnh phiên mà bản phát hành nêu, với lời mô tả nhiệm vụ minh họa. Tài liệu phiên tương tác
Văn bản thuần/start /subtask move the red block to the tray /subtask move the blue block to the tray /stop -
Chỉ thêm câu hỏi hình ảnh và mục tiêu nhỏ sau khi lặp được lượt cơ sở. Chọn chính sách sinh văn bản hoặc cấu hình bộ lập kế hoạch ngoài. Bắt đầu bằng câu tự trả lời được từ cùng camera. Thử mục tiêu có dấu kết thúc nhìn thấy, ghi chuyện gì xảy ra khi bộ lập kế hoạch không sẵn sàng hay không cho việc con hữu ích. Điểm cuối ngoài cũng đổi nơi quan sát được xử lý, quan trọng nếu camera thấy ngoài bàn thử. Tài liệu bộ lập kế hoạch ngoài
-
So cả cách phục hồi lẫn lượt hoàn tất. Lặp vài lần ở điều kiện tương đương, giữ mọi thất bại. Ghi người vận hành có thấy sự việc, can thiệp phù hợp và xác nhận trạng thái cuối không. Ít lượt đủ giúp chỉnh cấu hình. Tuyên bố độ tin cậy cần nhiều bằng chứng hơn từ các điều kiện sẽ gặp thật.
Bản 0.7.0 còn thay giao diện suy luận bất đồng bộ cũ bằng máy chủ chính sách và chế độ chạy từ xa. Nếu chuyển suy luận lên máy chủ GPU, thử lại độ trễ và ngắt qua kết nối thật. Máy chủ tăng năng lực tính toán, còn mạng thêm phụ thuộc giữa quan sát mới và hành động kế. Kết nối chậm hoặc mất là tình huống thử riêng. Thay đổi không tương thích của v0.7.0 · Tài liệu suy luận từ xa
Bài thử tốt nhất diễn ra giữa nhiệm vụ
Khoảnh khắc thú vị của trình diễn robot là lúc bước dự kiến không còn hợp lý. Thùng đầy, vật xê dịch hoặc người vận hành thấy điều camera bỏ qua. Lệnh dòng của LeRobot đưa khoảnh khắc đó vào thử nghiệm. Hãy xem người giám sát có nhận ra điều đã đổi, điều hướng hành động kế tiếp và xác minh kết quả bằng mắt hay không.
Nguồn
Để lưu và tìm lại các quyết định và thử nghiệm trong công việc, hãy tạo tài khoản Telli.sh.