Robot thắng trong màn trình diễn có thể thua ngay tại bàn thao tác của bạn

Hai cánh tay robot trông thuyết phục như nhau trên video. Một tay trượt khỏi chiếc hộp lạ. Tay kia gắp đúng nhưng đặt vào nhầm thùng. Nhóm vận hành chọn giữa hai hệ thống cần biết lỗi nào xuất hiện trên dây chuyền của họ và cần làm gì để khôi phục.

RoboColosseum là dự án nghiên cứu so sánh chính sách điều khiển trên robot thật tại nhiều địa điểm đánh giá. Trong bản arXiv ngày 2 tháng 11, các tác giả báo cáo 5.699 phép so sánh theo cặp ở 124 địa điểm. Thứ hạng của các chính sách ít đồng nhất giữa những nền tảng robot, và tương quan hiệu năng có thể thay đổi sau tinh chỉnh. Người mua hoặc nhà nghiên cứu có thể dùng bằng chứng đó để xây dựng phép đánh giá tốt hơn trước khi quyết định từ video trình diễn.

Unitree G1 bên trái, một trong các nền tảng được đánh giá, tại Japan Mobility Show 2025. Ảnh của RuinDig/Yuki Uchida, đã đổi kích thước, CC BY 4.0. Nguồn ảnh · Giấy phép.

Thứ hạng gắn với robot, tác vụ và điều kiện cụ thể

Đánh giá robot tại chỗ. Minh họa do Telli.sh thực hiện.

Chính sách có thể hoạt động tốt với một tổ hợp robot, vị trí cảm biến và tác vụ. Đổi tay gắp hoặc đổi nơi vật thể đi vào vùng làm việc thì một kỹ năng hơi khác có thể quyết định thành công. Chính sách đã tinh chỉnh cũng khác chính sách dùng nguyên trạng. Hiệu năng của nó phụ thuộc vào các ví dụ thao tác và cách nó được điều chỉnh.

Nghiên cứu so sánh các chính sách trong điều kiện tương đương tại từng địa điểm. Ở nhánh mở, người đánh giá so các lần thử trên cùng tác vụ mà không biết lần nào do mô hình nào thực hiện. Nhánh tinh chỉnh dùng tập tác vụ và ví dụ thao tác được kiểm soát chặt hơn. Nhờ vậy, có thể tách hai câu hỏi: chuyện gì xảy ra với một chỉ dẫn mới, và chính sách thích nghi tốt đến đâu khi có ví dụ.

Bài báo cho thấy mức đồng thuận thấp giữa thứ hạng trên bốn nền tảng trong nghiên cứu. Trang dự án có thể liệt kê nhóm phần cứng đang dùng để đánh giá mới hơn và rộng hơn. Khi giải thích con số, hãy dùng phạm vi của nghiên cứu. Danh sách hiện tại của nền tảng công khai mô tả những gì đang có, còn bài báo mô tả thí nghiệm tại một thời điểm cụ thể.

Hãy xem lỗi diễn ra như thế nào

Đọc tiến độ một phần. Minh họa do Telli.sh thực hiện.

Nghiên cứu cho biết không chính sách nào trong số đã thử hoàn thành năm tác vụ được đánh giá trên một cấu hình Unitree G1 cụ thể. Điểm tiến độ vẫn khác nhau. Sự phân biệt này hữu ích khi cần biết mô hình hụt ngay bước đầu hay chỉ lỗi gần cuối. Kết quả nói về các tác vụ và chính sách đó trong điều kiện của nghiên cứu.

Hãy hình dung việc phân loại có năm mốc: nhận diện vật thể, tiếp cận, gắp, di chuyển và thả đúng chỗ. Mô hình thường xuyên đến được bước thả có thể đáng cải thiện nếu bước cuối đơn giản. Nếu lỗi làm rơi vật nặng, điểm tiến độ cao đó không giúp vận hành yên tâm hơn. Tiến độ một phần cho biết cần điều tra ở đâu. Hậu quả vật lý cho biết hành vi đó có thể chấp nhận tại nơi làm việc hay không.

Trong bản trình diễn ngắn, người xem dễ bỏ qua một lần làm lại. Trên dây chuyền đang bận, thử lại tốn thời gian và có thể cần người đặt lại hiện trường. Thành công trong mười giây nhưng mất một phút khôi phục ở một số lượt có thể khiến thông lượng thấp hơn một chính sách chậm nhưng ít cần can thiệp. Đo cả tỷ lệ thành công lẫn thời gian khôi phục qua đủ chu trình để thấy những gián đoạn quan trọng.

Xem lại hình ảnh có ích trong trường hợp này. Giữ video của một số lần thành công trọn vẹn, lần hoàn thành một phần và lần thất bại vì các nguyên nhân khác nhau. Đoạn phim dừng ngay sau khi gắp có thể bỏ qua bước thả. Người đánh giá thấy toàn bộ lượt chạy có thể phân biệt một công việc hoàn tất với một chuyển động có triển vọng.

Thử nghiệm tại chỗ có thể học từ phép so sánh nghiên cứu

Thử nghiệm nên bắt đầu bằng công việc địa điểm thực sự cần. Kho hàng có thể quan tâm đến một thùng chứa lẫn gói phản quang và hộp đôi lúc bị móp. Phòng thí nghiệm có thể cần chuỗi bàn giao dụng cụ nhỏ. Mô tả rõ công việc, trạng thái đầu và kết quả mong đợi giúp lặp lại phép thử và giúp nhà cung cấp hiểu phải cải thiện gì.

1. Chọn tác vụ có thể quan sát được khi hoàn tất. Ghi cách sắp xếp lúc đầu và điều kiện kết thúc. Đưa vào vật thể đại diện cùng một vài trường hợp khó nhưng hợp lệ.
2. Ghi robot, cảm biến, bộ công tác đầu cuối, điều kiện địa điểm và phiên bản chính sách. Nếu có thể, chạy các phương án cạnh tranh với cùng bố trí và chỉ dẫn tại chỗ.
3. Tách lượt chạy nguyên trạng khỏi lượt đã điều chỉnh. Ghi số ví dụ thao tác, công sức điều chỉnh và các ví dụ giữ lại riêng để thử.
4. Theo dõi thành công trọn vẹn, tiến độ một phần, thời gian hoàn tất và can thiệp. Giữ cả lần lỗi ngay ở khâu chuẩn bị hoặc phải nhờ người đặt lại.
5. Lặp phép thử ở ca hoặc nơi có một điều kiện khác có ý nghĩa. Chẳng hạn đổi nhóm vật thể đi vào hoặc đo hành vi khi tác vụ bắt đầu hơi lệch tâm.
6. Đánh giá kiểm soát triển khai và an toàn vật lý với người có chuyên môn theo quy trình địa phương. Chuẩn nghiên cứu đo hành vi của chính sách. Đánh giá tại nơi làm việc còn phải tính con người và thiết bị ở cạnh robot.

Khi nhóm đánh giá khác biệt định tính, có thể cho xem từng cặp video đã ẩn danh. Cung cấp định nghĩa bằng văn bản về hành vi đạt yêu cầu và cách đánh dấu lần thử không an toàn hoặc không dùng được. Giữ đủ siêu dữ liệu để giải thích bất đồng sau đó. Giấu danh tính phương án có thể giảm thiên kiến thương hiệu, còn tiêu chí chung giúp các địa điểm đánh giá cùng một kiểu kết quả nhất quán.

So sánh hai nhánh thử trước khi so chính sách

Open Track và Fine-tune Track đặt câu hỏi liên quan nhưng có thiết kế khác nhau. Open Track dùng 5.699 phép so sánh theo cặp tại 124 địa điểm theo bản tiền ấn phẩm. Thử theo cặp cho thấy hai chính sách hoạt động ra sao khi tác vụ và địa điểm tương đương. Điều đó không có nghĩa mọi robot đều được thử trên mọi tác vụ tại mọi địa điểm.

Trong phép đánh giá báo cáo, Fine-tune Track dùng 100 ví dụ thao tác cho mỗi tác vụ trên tổng số 20 tác vụ. Theo các tác giả, Unitree G1 không hoàn thành trọn vẹn tác vụ nào trong năm tác vụ được đánh giá ở nhánh này. Điểm tiến độ trung bình nằm trong khoảng 13,3% đến 23,2%. Điểm một phần cho người đọc biết khoảng cách nhiều hơn một số không ở kết quả cuối. Chính sách có thể đạt tiến bộ quan sát được theo tiêu chí chấm mà chưa hoàn thành công việc.

Các tác giả báo cáo hệ số đồng thuận Kendall là 0,24 cho thứ hạng tiến độ trên bốn bộ tác vụ riêng theo phần cứng. Đây là thước đo mức thống nhất giữa thứ hạng, không phải tỷ lệ tác vụ hoàn tất. Các bộ khác nhau về nền tảng robot lẫn công việc và bối cảnh. Độ đồng thuận thấp là lý do để xác minh tổ hợp đã chọn tại chỗ. Nó không xác định riêng hình thể robot là nguyên nhân của khác biệt thứ hạng.

Đặt hai ca làm việc vào cùng một phép thử

Giả sử trung tâm phân phối muốn robot chuyển cùng một miếng lót đóng gói từ khay vào thùng carton trong hai ca. Người vận hành thấy ca tối nhận khay khác và ít ánh sáng tự nhiên hơn. Thay vì chuyển sang phòng thí nghiệm gọn hơn, hãy chạy cả hai chính sách trong cả hai điều kiện. Đổi thứ tự trong từng ca để pin yếu về cuối, đồ gá bị dịch hoặc kinh nghiệm của người vận hành không liên tục có lợi cho một phương án.

Ghi tư thế ban đầu của vật, thiết lập cảm biến hay ánh sáng được phép, cách nhân viên can thiệp và tiêu chí đặt xong. Giữ video thất bại và ghi chú can thiệp. Nếu một chính sách chỉ tốt lên sau khi khay được chuyển chỗ, bước can thiệp có thể quan trọng với triển khai hơn giá trị trung bình cuối. Quan sát đó có thể dẫn tới sửa đồ gá hoặc chọn tình huống tốt hơn cho lần đánh giá tiếp theo.

Phiếu chấm hữu ích cho điểm một phần theo các giai đoạn có thể quan sát. Tay gắp tìm đúng miếng lót nhưng không nhấc được cần cách sửa khác tay gắp nhấc được nhưng đặt trượt thùng. Định nghĩa đơn giản từng bước để hai người chấm hiểu giống nhau. Thêm mục riêng cho việc dừng an toàn. Lượt chạy dừng khi có nhân viên bước vào khu vực có thể đã hành xử đúng dù không hoàn thành công việc.

Xác định bằng chứng cần có để đi tiếp

Trình diễn phòng thí nghiệm thành công có thể là lý do thử tại chỗ, và thử tại chỗ thành công có thể mở đường cho thử dài hơn. Mỗi quyết định có ngưỡng nghiệm thu riêng. Bộ phận mua sắm có thể yêu cầu tính lặp lại qua hai ca phổ biến trước khi bàn đến khu vực khó đoán hơn. Nhà nghiên cứu có thể yêu cầu nhãn lỗi và điều kiện lặp trước khi kết luận chính sách đã chuyển giao được.

Khi kết quả trái nhau, ghi lại điều kiện nào đổi và thao tác nào sai. Thứ hạng đảo chiều có thể làm lộ một tác vụ mà phép thử gốc chưa đại diện. Nhóm có thể dùng thông tin đó để quyết định cần robot khác, chính sách khác, trạm làm việc được sửa hay chỉ cần bài thử đại diện tốt hơn.

Đọc các trường hợp đảo thứ hạng trong bài báo

Fine-tune Track cho ví dụ cụ thể về thứ hạng thay đổi giữa bốn bộ tác vụ. π0.5 đứng đầu bảng tiến độ trên Franka và Bimanual-YAM, nhưng đứng thứ tư trên G1. GR00T N1.7 dẫn đầu bộ SO-101 nhưng đứng thứ tư trên Franka và Bimanual-YAM. Các kết quả nói về bộ tác vụ và thước đo tiến độ đã công bố. Nhóm mua sắm có thể xem đó là ví dụ về thứ hạng thay đổi khi tổ hợp công việc, bối cảnh và phần cứng thay đổi.

Bài báo cũng nghiên cứu cách chủ động chọn phép so sánh cần chạy. Trong phân tích, khoảng 400 đến 500 lượt đánh giá được chọn thích ứng đạt khoảng 90% đồng thuận với thứ hạng dùng toàn bộ dữ liệu, so với khoảng 1.000 lượt khi chọn đồng đều. Kết quả thuộc về thiết kế đánh giá này. Nó gợi ý một cách làm tại chỗ. Hãy lặp nhiều hơn ở các trường hợp khó phân biệt phương án dẫn đầu, đồng thời giữ mức tối thiểu cố định cho các ca đại diện.

Cơ sở có thể tách vòng đầu và vòng thích ứng. Vòng đầu giao cùng việc cho hai phương án và dùng cùng quy tắc can thiệp. Vòng sau lặp những bối cảnh có bằng chứng ban đầu chưa rõ. Giữ nguyên tiêu chí nghiệm thu ban đầu. Nếu loại bối cảnh vì an toàn hoặc tính thực tế, hãy ghi lý do. Báo cáo cuối cần giải thích các lượt bổ sung đã làm thay đổi quyết định ra sao.

Hãy tìm thông tin về những công việc quan trọng nhất

Đánh giá phân tán có thể gom được nhiều bối cảnh khó tái tạo trong một phòng thí nghiệm. Thử nghiệm tại chỗ cho hiểu biết sâu về công việc nhóm phụ trách. Hai cách bổ sung cho nhau. Dùng bằng chứng rộng để tìm phương án có triển vọng, rồi thiết kế phép thử riêng để phát hiện ngoại lệ quyết định hệ thống có hữu ích hay không.

Phép so sánh tốt nhất là phép nhóm có thể chạy lại sau khi đổi chính sách hoặc phần cứng. Giữ mô tả công việc, cấu hình và ví dụ lỗi cùng điểm số. Khi thứ hạng thay đổi, bạn sẽ có đủ thông tin để biết thay đổi đó có cải thiện công việc của mình không.

Nguồn

• Bài báo RoboColosseum, các mục đánh giá 4.3–4.5

• Bản tiền ấn phẩm RoboColosseum ngày 2 tháng 11

• Dự án RoboColosseum và trình xem đánh giá công khai

---

Để lưu các cuộc trao đổi và quyết định trong công việc theo cách có thể tìm lại, hãy tạo tài khoản Telli.sh.