หุ่นยนต์ที่ชนะในเดโมอาจแพ้ที่โต๊ะงานของคุณ
การประเมินหุ่นยนต์จริงของ RoboColosseum จากหลายสถานที่แสดงให้เห็นว่าผลเปลี่ยนได้ตามฮาร์ดแวร์ งาน และการปรับจูน พร้อมแนวทางออกแบบการทดลองให้ตรงกับงาน
แขนหุ่นยนต์สองตัวดูน่าเชื่อพอกันในวิดีโอ ตัวหนึ่งทำภาชนะที่ไม่คุ้นหลุดมือ อีกตัวจับได้แต่ใส่ผิดถัง ทีมปฏิบัติการที่ต้องเลือกจำเป็นต้องรู้ว่าความล้มเหลวแบบใดเกิดในสายงานของตัวเอง และต้องทำอะไรเพื่อให้กลับมาทำงานได้
RoboColosseum เป็นงานวิจัยเปรียบเทียบนโยบายควบคุมหุ่นยนต์บนฮาร์ดแวร์จริงในพื้นที่ประเมินหลายแห่ง ในฉบับ arXiv วันที่ 2 พฤศจิกายน ผู้เขียนรายงานการเปรียบเทียบเป็นคู่ 5,699 ครั้งจาก 124 แห่ง พบว่าอันดับของนโยบายสอดคล้องกันต่ำเมื่อเปลี่ยนแพลตฟอร์มหุ่นยนต์ และผลเชิงเปรียบเทียบเปลี่ยนได้หลังปรับจูน ผู้ซื้อหรือนักวิจัยใช้ข้อมูลนี้ออกแบบการประเมินก่อนตัดสินใจจากคลิปเดโมได้
Unitree G1 (ซ้าย) หนึ่งในแพลตฟอร์มหุ่นยนต์ที่ประเมิน ที่งาน Japan Mobility Show 2025 ภาพโดย RuinDig/Yuki Uchida ปรับขนาดแล้ว ภายใต้ CC BY 4.0 แหล่งภาพ · สัญญาอนุญาต
ทุกอันดับผูกกับหุ่นยนต์ งาน และสภาพแวดล้อม
การประเมินหุ่นยนต์หน้างาน ภาพประกอบต้นฉบับโดย Telli.sh
นโยบายอาจทำงานดีเมื่อใช้หุ่นยนต์ ตำแหน่งเซนเซอร์ และงานชุดหนึ่ง เมื่อเปลี่ยนหัวจับหรือขยับจุดที่วัตถุเข้าพื้นที่ ทักษะอีกแบบอาจกลายเป็นตัวตัดสิน นโยบายที่ปรับจูนแล้วก็มีเงื่อนไขต่างจากแบบพร้อมใช้ ผลขึ้นกับตัวอย่างสาธิตและวิธีปรับให้เข้ากับงาน
งานวิจัยเทียบนโยบายในเงื่อนไขท้องถิ่นที่จับคู่กันได้ ในสายเปิด ผู้ประเมินเทียบการทดลองในงานเดียวกันโดยไม่รู้ว่าโมเดลใดสร้างการกระทำแต่ละชุด ส่วนสายปรับจูนใช้ชุดงานและตัวอย่างสาธิตที่ควบคุมเข้มกว่า จึงแยกคำถามได้สองข้อว่าเกิดอะไรขึ้นเมื่อได้คำสั่งใหม่ และนโยบายปรับตัวได้ดีเพียงใดเมื่อได้รับตัวอย่าง
| สิ่งที่ผลการประเมินบอก | สิ่งที่ทีมติดตั้งยังต้องรู้ |
|---|---|
| แพลตฟอร์มหุ่นยนต์หนึ่งแบบ | ฮาร์ดแวร์และเซนเซอร์ใกล้เคียงกับของคุณไหม |
| การกระจายประเภทงานหนึ่งชุด | มีวัตถุ การจัดวาง และกรณียกเว้นแบบใด |
| นโยบายที่ปรับจูนแล้ว | ใช้ตัวอย่าง เวลา และทรัพยากรเท่าไร |
| ความชอบของผู้ประเมินหรือคะแนนความคืบหน้า | ครบรอบงานโดยไม่ต้องแทรกแซงบ่อยเพียงใด |
| ช่วงเวลาที่ประเมิน | การตั้งค่าตรงกับรุ่นที่จะติดตั้งไหม |
บทความรายงานว่าอันดับสอดคล้องกันต่ำระหว่างแพลตฟอร์มหุ่นยนต์สี่แบบในการศึกษา เว็บไซต์โครงการอาจแสดงฮาร์ดแวร์ที่เปิดให้ประเมินในปัจจุบันมากกว่าและใหม่กว่า เวลาพูดถึงตัวเลขให้ยึดขอบเขตของงานวิจัย รายการของแพลตฟอร์มสาธารณะบอกสิ่งที่มีให้ใช้ตอนนี้ ส่วนบทความบอกการทดลอง ณ จุดหนึ่ง
ดูว่าความล้มเหลวเกิดขึ้นทีละขั้นอย่างไร
อ่านความคืบหน้าบางส่วน ภาพประกอบต้นฉบับโดย Telli.sh
งานวิจัยรายงานว่าไม่มีนโยบายที่ทดสอบใดทำงานทั้งห้าที่ประเมินบนการตั้งค่า Unitree G1 ชุดหนึ่งได้จนจบ แต่คะแนนความคืบหน้ายังต่างกัน ข้อนี้ช่วยให้เห็นว่าโมเดลพลาดตั้งแต่ขั้นแรกหรือใกล้จบแล้วจึงล้มเหลว ผลดังกล่าวอธิบายเฉพาะงานและนโยบายภายใต้เงื่อนไขการศึกษา
ลองนึกถึงงานคัดแยกที่มีห้าหลักหมาย ได้แก่ ระบุวัตถุ เข้าหา จับ เคลื่อนย้าย และปล่อยให้ถูกตำแหน่ง โมเดลที่ถึงขั้นปล่อยอย่างสม่ำเสมออาจคุ้มปรับต่อหากเหลือขั้นง่าย แต่ถ้าความล้มเหลวทำของหนักหล่น คะแนนความคืบหน้าสูงก็ช่วยให้มั่นใจในการใช้งานจริงได้น้อย ความคืบหน้าบอกจุดที่ควรตรวจ ผลทางกายภาพบอกว่าพฤติกรรมนั้นเหมาะกับสถานที่ทำงานหรือไม่
ในเดโมสั้น ๆ การลองใหม่อาจถูกมองข้าม บนสายงานที่มีงานต่อเนื่อง การลองใหม่กินเวลาและอาจต้องให้คนจัดฉากกลับ การทำสำเร็จในสิบวินาทีแต่บางรอบต้องกู้นานหนึ่งนาทีอาจให้ปริมาณงานต่ำกว่านโยบายที่ช้ากว่าแต่ต้องแทรกแซงน้อยกว่า วัดทั้งความสำเร็จและเวลากู้คืนให้มากรอบพอที่จะเห็นการสะดุดที่สำคัญ
การดูภาพช่วยได้ เก็บคลิปตัวอย่างของรอบที่สำเร็จเต็ม งานที่ไปได้บางส่วน และความล้มเหลวจากสาเหตุต่าง ๆ วิดีโอที่จบทันทีหลังจับอาจไม่เห็นการปล่อย ผู้ประเมินที่ดูครบทั้งรอบแยกงานที่เสร็จจริงออกจากการเคลื่อนไหวที่ดูมีแววได้
การทดลองหน้างานใช้บทเรียนจากงานวิจัยได้
เริ่มด้วยงานที่พื้นที่นั้นต้องการจริง คลังสินค้าอาจสนใจกล่องรวมที่มีซองสะท้อนแสงและกล่องบุบเป็นครั้งคราว ห้องแล็บอาจสนใจลำดับส่งต่อเครื่องมือขนาดเล็ก งาน สถานะเริ่มต้น และผลที่คาดไว้ที่ระบุชัดทำให้ทดสอบซ้ำได้และช่วยให้ผู้ขายรู้ว่าจะปรับตรงไหน
- เลือกงานที่สังเกตได้ว่าเสร็จแล้ว จดการจัดวางเริ่มต้นและเกณฑ์สิ้นสุด รวมวัตถุที่พบเป็นประจำและกรณียากที่เกิดขึ้นจริง
- บันทึกหุ่นยนต์ เซนเซอร์ อุปกรณ์ปลายแขน เงื่อนไขหน้างาน และรุ่นนโยบาย หากทำได้ให้ทดสอบนโยบายคู่แข่งด้วยการตั้งค่าและคำสั่งเดียวกัน
- แยกรอบที่ใช้ได้ทันทีออกจากรอบหลังปรับตัว จดจำนวนตัวอย่าง เวลาและแรงงานในการปรับ รวมทั้งตัวอย่างที่กันไว้
- สังเกตงานที่สำเร็จครบ ความคืบหน้าบางส่วน เวลา และการแทรกแซง เก็บรอบที่พลาดตั้งแต่ตั้งค่าหรือต้องให้ผู้ควบคุมรีเซ็ตไว้ด้วย
- ทดสอบซ้ำในกะหรือพื้นที่ที่เปลี่ยนเงื่อนไขที่เกี่ยวข้อง เช่น ใช้วัตถุเข้าระบบชุดใหม่ หรือวัดเมื่อจุดเริ่มเยื้องศูนย์เล็กน้อย
- ประเมินการควบคุมหน้างานและความปลอดภัยทางกายภาพกับผู้มีคุณสมบัติและตามขั้นตอนท้องถิ่น เบนช์มาร์กวิจัยวัดพฤติกรรมนโยบาย ส่วนการประเมินในที่ทำงานยังต้องคิดถึงคนและอุปกรณ์รอบหุ่นยนต์
หากทีมประเมินความต่างเชิงคุณภาพ ลองดูคลิปที่ปกปิดตัวตนเป็นคู่ ให้คำจำกัดความพฤติกรรมที่ยอมรับได้เป็นลายลักษณ์อักษร พร้อมช่องทำเครื่องหมายรอบที่ไม่ปลอดภัยหรือใช้ไม่ได้ เก็บข้อมูลประกอบพออธิบายความเห็นต่างภายหลัง การปกปิดชื่อช่วยลดความเอนเอียงจากแบรนด์ ส่วนเกณฑ์ร่วมช่วยให้ผู้ประเมินต่างพื้นที่ตีความผลแบบเดียวกัน
เปรียบเทียบสายทดสอบก่อนเปรียบเทียบนโยบาย
Open Track และ Fine-tune Track ถามเรื่องที่เกี่ยวข้องกันด้วยแบบทดลองต่างกัน Open Track มีการเทียบเป็นคู่ 5,699 ครั้งใน 124 พื้นที่ตามรายงานฉบับก่อนตีพิมพ์ การเทียบเป็นคู่แสดงผลงานของสองนโยบายเมื่องานและพื้นที่เทียบเคียงกันได้ ข้อมูลนี้ไม่ได้หมายความว่าหุ่นยนต์ทุกตัวทำทุกงานในทุกพื้นที่
Fine-tune Track ใช้ตัวอย่างสาธิต 100 ตัวอย่างต่องานจาก 20 งานในการประเมินที่รายงาน ผู้เขียนรายงานว่า Unitree G1 ทำงานไม่สำเร็จครบเลยในห้างานที่ประเมินในสายนี้ โดยคะแนนความคืบหน้าเฉลี่ยอยู่ระหว่าง 13.3% ถึง 23.2% คะแนนบางส่วนให้ข้อมูลเรื่องช่องว่างมากกว่าตัวเลขศูนย์ในผลสุดท้ายเพียงตัวเดียว แสดงว่านโยบายอาจทำให้เห็นความคืบหน้าตามเกณฑ์แม้งานยังไม่จบ
ผู้เขียนรายงานค่าสัมประสิทธิ์ความสอดคล้องของ Kendall เท่ากับ 0.24 สำหรับอันดับความคืบหน้าข้ามชุดงานเฉพาะฮาร์ดแวร์สี่ชุด ค่านี้วัดความสอดคล้องของอันดับ ไม่ใช่เปอร์เซ็นต์งานที่เสร็จ แต่ละชุดต่างกันทั้งแพลตฟอร์ม งาน และการตั้งค่า ความสอดคล้องต่ำจึงเป็นเหตุผลให้ทดสอบชุดที่จะใช้เอง และยังแยกไม่ได้ว่ารูปร่างหุ่นยนต์เป็นเหตุของอันดับที่ต่างกันหรือไม่
จับคู่เงื่อนไขของสองกะในการทดสอบ
สมมติศูนย์กระจายสินค้าต้องการให้หุ่นยนต์ย้ายแผ่นรองบรรจุภัณฑ์ชนิดเดียวกันจากถาดลงกล่องในสองกะ ผู้ควบคุมพบว่ากะเย็นได้ถาดอีกแบบและมีแสงธรรมชาติน้อยกว่า ให้ทดสอบนโยบายทั้งสองในทั้งสองสภาพแทนการย้ายไปแล็บที่ควบคุมง่ายกว่า สลับลำดับในแต่ละกะเพื่อไม่ให้แบตเตอรี่ช่วงท้าย ตำแหน่งอุปกรณ์ที่ขยับ หรือความชำนาญของคนเข้าข้างตัวเลือกเดิมตลอด
จดท่าเริ่มต้นของวัตถุ การตั้งค่าเซนเซอร์หรือแสงที่อนุญาต วิธีที่คนควรเข้าแทรกแซง และเกณฑ์ว่าวางเสร็จแล้ว เก็บวิดีโอรอบที่ไม่ผ่านและบันทึกการแทรกแซง หากนโยบายหนึ่งดีขึ้นเฉพาะหลังขยับถาด การแทรกแซงนั้นอาจสำคัญต่อการติดตั้งกว่าค่าเฉลี่ยสุดท้าย ข้อสังเกตอาจนำไปสู่การปรับอุปกรณ์จับยึดหรือคัดกรณีทดสอบรอบถัดไปให้ดีขึ้น
ตารางคะแนนที่ใช้ได้ควรให้คะแนนบางส่วนตามขั้นที่สังเกตได้ หัวจับที่หาชิ้นถูกแต่ยกไม่ได้ต้องแก้คนละแบบกับหัวจับที่ยกได้แต่ไม่ลงกล่อง นิยามแต่ละขั้นอย่างง่ายเพื่อให้ผู้ประเมินสองคนตีความตรงกัน และแยกการหยุดอย่างปลอดภัยไว้ต่างหาก หากรอบหยุดเพราะมีคนเข้าพื้นที่ ระบบอาจทำถูกต้องแม้งานไม่เสร็จ
ตกลงว่าหลักฐานแบบใดพอสำหรับขั้นต่อไป
เดโมในห้องแล็บที่ผ่านอาจพอให้เริ่มทดสอบหน้างาน ส่วนผลหน้างานที่ผ่านอาจพอให้เริ่มนำร่องนานขึ้น แต่ละขั้นมีเกณฑ์ของตัวเอง ทีมจัดซื้ออาจขอดูการทำซ้ำในสองกะปกติก่อนคุยเรื่องขยายไปพื้นที่ที่คาดการณ์ยากกว่า นักวิจัยอาจขอป้ายสาเหตุความล้มเหลวและเงื่อนไขทำซ้ำก่อนอ้างว่านโยบายใช้ข้ามสภาพแวดล้อมได้
เมื่อผลไม่ตรงกัน ให้บันทึกว่าเงื่อนไขใดเปลี่ยนและการกระทำไหนผิดพลาด อันดับที่กลับด้านอาจเผยงานที่เบนช์มาร์กเดิมไม่ครอบคลุม ช่วยให้ทีมเลือกได้ว่าต้องการหุ่นยนต์อีกแบบ นโยบายอื่น การปรับพื้นที่ทำงาน หรือเพียงการทดสอบที่แทนงานจริงกว่าเดิม
อ่านตัวอย่างอันดับกลับด้านในงานวิจัย
Fine-tune Track ยกตัวอย่างอันดับที่เปลี่ยนในชุดงานทั้งสี่ π0.5 ขึ้นอันดับหนึ่งตามคะแนนความคืบหน้าบน Franka และ Bimanual-YAM แต่อยู่อันดับสี่บน G1 ส่วน GR00T N1.7 นำในชุด SO-101 และอยู่อันดับสี่บน Franka กับ Bimanual-YAM ผลอ้างถึงชุดงานและตัววัดความคืบหน้าตามรายงาน ทีมจัดซื้อควรมองลำดับนี้เป็นตัวอย่างว่าอันดับเปลี่ยนได้อย่างไรเมื่องาน การตั้งค่า และฮาร์ดแวร์เปลี่ยนร่วมกัน
งานวิจัยยังศึกษาการเลือกคู่เปรียบเทียบตามข้อมูลที่ได้ ในการวิเคราะห์ การประเมินที่เลือกแบบปรับตามผลราว 400 ถึง 500 ครั้งให้อันดับสอดคล้องกับข้อมูลเต็มราว 90% เทียบกับประมาณ 1,000 ครั้งเมื่อเลือกแบบสม่ำเสมอ ตัวเลขนี้เป็นผลสำหรับแบบประเมินดังกล่าว แนวคิดที่นำไปใช้ได้คือเพิ่มรอบกับกรณีที่แยกผู้สมัครนำได้ยาก แต่ยังคงจำนวนขั้นต่ำของกรณีที่เป็นตัวแทนไว้
สถานที่ปฏิบัติงานแยกรอบแรกออกจากรอบปรับตามข้อมูลได้ ในรอบแรกให้ผู้สมัครทั้งคู่ทำงานเดียวกันภายใต้กติกาแทรกแซงเดียวกัน รอบสองให้ทำซ้ำในเงื่อนไขที่หลักฐานรอบแรกยังไม่ชัด คงเกณฑ์เดิม หากต้องตัดเงื่อนไขใดด้วยเหตุความปลอดภัยหรือข้อจำกัดหน้างาน ให้จดเหตุผล รายงานสุดท้ายควรบอกได้ว่ารอบเพิ่มเติมเปลี่ยนการตัดสินใจอย่างไร
ลงทุนเก็บข้อมูลของงานที่สำคัญที่สุด
การประเมินแบบกระจายเก็บสภาพที่ห้องแล็บเดียวสร้างได้ยาก การนำร่องหน้างานให้รายละเอียดลึกของงานที่ทีมดูแล ทั้งสองวิธีใช้ร่วมกันได้ ใช้หลักฐานกว้างคัดผู้สมัคร แล้วออกแบบการประเมินเองเพื่อหากรณียกเว้นที่ตัดสินว่าระบบจะมีประโยชน์หรือไม่
การเปรียบเทียบที่แข็งแรงคือการทดสอบที่ทีมรันซ้ำได้หลังเปลี่ยนนโยบายหรือฮาร์ดแวร์ เก็บรายละเอียดงาน การตั้งค่า และตัวอย่างที่ล้มเหลวพร้อมคะแนน เมื่ออันดับขยับ ทีมจะมีข้อมูลพอจะตัดสินว่าการเปลี่ยนแปลงช่วยงานจริงไหม
แหล่งข้อมูล
หากต้องการเก็บบันทึกการสนทนาและการตัดสินใจเบื้องหลังงานให้ค้นหาได้ สร้างบัญชี Telli.sh.