演示里的冠军机器人，到了你的工作台也可能输

视频里的两只机械臂看上去一样可靠。一只在陌生容器上打滑，另一只抓得牢，却放进了错误的周转箱。现场团队要在两者之间做选择，需要了解自己的产线上会发生哪种失败、恢复要花多少工夫。

RoboColosseum 是一项研究，在各地评估场地的实机上比较机器人策略。作者在 11 月 2 日的 arXiv 版本中报告了 124 个场地的 5,699 次成对比较。不同机器人本体上的策略排名一致性较低，微调也可能改变相对表现。买家或研究人员可以先根据这些证据设计更合适的评估，再决定如何看待演示视频。

2025 年日本移动出行展上的 Unitree G1（左），属于研究评估过的机器人平台之一。RuinDig/Yuki Uchida 摄，已调整大小，CC BY 4.0。图片来源 · 许可证。

排名总是对应某种机器人、任务和环境

机器人现场评估。Telli.sh 原创示意图。

策略可以在某种机器人、传感器位置和任务的组合中表现很好。换夹爪，或者挪动物体进入工作区的位置，可能就要靠另一种能力才能成功。微调后的策略和开箱即用的策略也有区别，表现取决于它看过哪些示范，以及经历了怎样的适配过程。

研究在匹配的当地条件下比较策略。开放赛道的评估者不知道哪次尝试来自哪个模型，只比较同一任务的不同尝试。微调赛道更严格地控制任务和示范。这样能分别回答两个问题：第一次收到一条新指令会怎样，拿到示例后又能适配得多好。

论文报告，研究所用四种本体上的排名一致性不高。项目网站可能列出范围更广、更新的在用评估硬件。解释论文数字时，应采用研究的范围。公开平台当前的设备列表说明它今天提供什么，论文则描述某个时间点的实验。

看失败发生在哪一步

读懂中途进度。Telli.sh 原创示意图。

研究报告称，在某种 Unitree G1 配置上评估的五项任务，没有任何受测策略完整做完，但进度得分仍有差异。想弄清模型是第一步就漏了，还是快结束才失败，这一区分很有用。结果指的是研究条件下的这些任务与策略。

可以把分拣拆成五个阶段：识别物体、靠近、抓住、移动、在正确位置松开。如果最后一步本身简单，一个总能到达放下之前的模型可能值得继续改进。如果失败时会掉落重物，同样高的进度分数也很难让现场放心。中途进度指出该查哪一步，物理后果则决定这种行为能否用于工作场所。

短演示中，一次重试很容易被忽略。在繁忙产线上，重试要花时间，有时还要工人重新布置现场。一次成功只用十秒，但有些运行需要一分钟才能恢复，总吞吐量可能还不如速度稍慢、干预次数更少的策略。试足够多轮，观察重要的中断，同时测成功率和恢复耗时。

查看录像很有帮助。保存完全成功、部分完成、因不同原因失败的样本。夹爪刚抓住就结束的视频，可能省略了放下那一步。看完整次尝试的评估者，才能区分工作做完了，还是只展示了看似有希望的动作。

现场试点可以借用研究的比较方法

试点从现场真正需要的工作开始。仓库可能在意反光包装和偶尔压瘪的盒子混在一个料箱里的情况，实验室可能需要依次交接几件小工具。明确任务、起始状态和预期结果，测试就更容易复现，供应商也能知道该改什么。

1. 选择一项能观察到是否完成的任务。写下起始布置和结束条件，放入有代表性的物体，也加入少量难度较高但实际可能遇到的情形。
2. 记录机器人、传感器、末端执行器、现场条件和策略版本。条件允许时，在相同布置和指令下运行各候选策略。
3. 把开箱即用的运行和适配后的运行分开。记录适配用了多少示范、花了多少工作，以及留出哪些样例做评估。
4. 观察完全成功、部分进展、完成时间和人工干预。准备失败或需要操作员重置的尝试也要保留。
5. 换一个会改变相关条件的班次或场地再测。例如换一批输入物体的组合，或测量起始位置略偏离中心时的行为。
6. 由合格人员依照当地流程评估部署控制和物理安全。研究基准衡量的是策略行为，工作场所还要考虑机器周围的人和设备。

需要判断定性差异时，可以两段一组查看隐藏模型名称的录像。给评估者一份可接受行为的书面定义，以及标记不安全或不可用尝试的方法。保留足够的元数据，便于事后理解分歧。隐藏名称能降低品牌偏好的影响，共用评分标准能让不同场地的人用一致的方法判断结果。

比策略之前，先把赛道分清楚

开放赛道和微调赛道研究的问题相关，实验设计却不同。预印本中的开放赛道采用了 124 个场地的 5,699 次成对比较。任务和现场可比时，成对试验能显示两个策略的表现差异。这并不代表每台机器人都在每个场地做了每项任务。

论文所述的微调赛道涵盖 20 项任务，每项用了 100 条示范。作者报告，在该赛道的五项受测任务中，Unitree G1 完全完成的次数为零，平均进度得分在 13.3% 至 23.2% 之间。和最终的零相比，部分得分给出了更多差距信息。策略可以在评分规则下做出可观察的进展，却仍未完成任务。

作者报告，四组对应不同硬件的任务中，进度排名的肯德尔协调系数为 0.24。这是排名一致程度，不是任务完成比例。四组不光本体不同，搭配的任务和环境也不同。低一致性可以作为在本地验证所选组合的理由，却不能单独认定机器人外形导致了排名差异。

给现场的两个班次安排对照

设想配送中心希望两个班次都用机器人把同一种包装内衬从托盘转到纸箱。操作人员发现，晚班拿到的是不同的托盘，自然光也少一些。不妨留在现场，让两个候选策略都在两种条件下运行。每班交替执行顺序，避免电量见底、工装移位或操作人员熟练度总是让一方占优。

记录物体初始位姿、允许的传感器或照明设置、工人如何介入，以及什么算放置完成。保留失败录像和干预说明。如果某个策略只有在托盘重新摆好以后才改善，那次干预可能比最终均值更影响部署决策。团队可以据此调整工装，或为下一轮策略测试挑选更合适的案例。

实用的评分表会对可观察的各阶段给出部分分。找到正确内衬却抬不起来的夹爪，与抬了起来却没放进纸箱的夹爪，改进方向不同。为每个阶段写一个简明的定义，让两位评估者能一致理解同一次试验。安全停机另立一类。工人进入区域导致机器停下时，即使没完成任务，机器也可能做对了。

先决定什么证据够进入下一步

实验室演示通过，可以成为做现场试验的依据；现场试验通过，可以成为开展更长试点的依据。每一步的验收门槛不同。采购团队可以要求在两个常见班次中证明可重复性，再讨论扩到较难预测的区域。研究人员可以在声称策略能够迁移之前，要求提供失败类别和复测条件。

结果不一致时，记下环境中变了什么、具体哪个动作出了问题。排名反转可能揭示原基准没有覆盖的一类任务。这能帮助团队判断，需要的是另一台机器人、另一种策略、改造后的工作单元，还是仅仅需要一项更有代表性的测试。

看论文中的具体排名反转

微调赛道提供了四组任务间排名变化的具体案例。按进度排名，π0.5 在 Franka 和 Bimanual-YAM 上排名第一，在 G1 上排名第四。GR00T N1.7 在 SO-101 组领先，却在 Franka 和 Bimanual-YAM 两组排名第四。这些结果针对论文中的任务组和进度指标。采购团队可以将其看作一个例子：任务、环境和硬件的组合一变，排名也可能变。

论文还研究了主动选择该做哪些比较。在其分析中，自适应选择大约 400 至 500 次评估，就能与全量数据得出的排名达到约 90% 的一致性；均匀选择则需要大约 1,000 次。这是特定评估设计下的结果。现场试点可以借鉴其中的思路：保留固定数量的代表性案例，同时多重复几次难以区分领先候选的情形。

现场可以把首轮和自适应轮分开。首轮让两个候选在同一套干预规则下做同样的工作。下一轮在初步证据不一致的条件下重试。保持原来的验收规则。如果出于安全或实际原因排除了某种设置，记下理由。最终报告应能说明追加测试如何改变了决策。

把钱花在最重要任务的证据上

分布式评估可以收集单个实验室难以复现的多种环境，现场试点则可以深入检验本团队负责的工作。两种方法可以结合：用更广泛的证据找到有潜力的候选，再设计自己的评估，找出左右实用性的例外。

最有价值的比较，是更换策略或硬件后团队还能重跑。把任务、配置和失败样例与分数一起保留。排名再变时，就能判断变化是否真的改善了现场工作。

来源

• RoboColosseum 论文，评估章节 4.3–4.5

• RoboColosseum 预印本，11 月 2 日版本

• RoboColosseum 项目与公开评估查看器

---

如果想把工作背后的对话和决定留成可搜索的记录，可以创建 Telli.sh 账号。