시연에서 이긴 로봇도 내 작업대에서는 질 수 있다

영상에서 로봇 팔 두 대가 똑같이 그럴듯해 보입니다. 한 대는 낯선 용기에서 손이 미끄러집니다. 다른 한 대는 제대로 잡지만 엉뚱한 통에 넣습니다. 둘 중 하나를 고르는 운영팀은 자기 작업 라인에서 어떤 실패가 나고 복구하는 데 무엇이 필요한지 알아야 합니다.

RoboColosseum은 여러 평가 장소에 있는 실제 하드웨어에서 로봇 정책을 비교하는 연구입니다. 저자들은 11월 2일 arXiv 버전에 124곳에서 실시한 쌍대 비교 5,699건을 보고했습니다. 로봇 기체 간 정책 순위의 일치도는 낮았고 파인튜닝 후 상대적인 성능이 바뀔 수 있었습니다. 구매자나 연구자는 이 결과를 이용해 시연 영상으로 결정을 내리기 전에 더 나은 평가를 설계할 수 있습니다.

2025년 Japan Mobility Show에 전시된 Unitree G1(왼쪽). 평가에 쓰인 플랫폼 중 하나입니다. RuinDig/Yuki Uchida 촬영, 크기 조정, CC BY 4.0. 이미지 출처 · 라이선스.

순위에는 특정 로봇과 과제, 환경이 있다

현장 로봇 평가. Telli.sh 자체 제작.

어떤 정책은 특정 로봇과 센서 위치, 과제 조합에서 잘 작동할 수 있습니다. 그리퍼를 바꾸거나 물건이 작업 공간에 들어오는 위치를 옮기면 조금 다른 능력이 성공을 좌우할 수 있습니다. 파인튜닝한 정책과 처음 상태 그대로 쓰는 정책도 다릅니다. 성능에는 어떤 시범 데이터를 받아 어떻게 적응했는지가 반영됩니다.

연구는 현장 조건을 맞춰 정책을 비교합니다. Open Track에서 평가자는 어느 모델의 시도인지 모르는 상태로 동일 과제의 시도를 비교합니다. Fine-tune Track은 과제와 시범 데이터를 더 통제합니다. 처음 주는 지시에서 어떤 결과가 나오는지, 예시를 주면 정책이 얼마나 잘 적응하는지 따로 볼 수 있습니다.

논문은 연구에 사용한 네 종류의 기체에서 순위가 잘 일치하지 않았다고 보고합니다. 프로젝트 사이트에는 현재 쓰이는 더 다양하고 새로운 평가 하드웨어가 나올 수 있습니다. 수치를 설명할 때는 논문의 범위를 쓰세요. 공개 플랫폼의 현재 목록은 지금 이용할 수 있는 것을 보여주고, 논문은 특정 시점의 실험을 설명합니다.

실패가 어느 단계에서 나는지 본다

부분 진척도 읽기. Telli.sh 자체 제작.

연구에 따르면 특정 Unitree G1 설정에서 평가한 과제 다섯 개를 완수한 정책은 없었습니다. 진척도 점수에는 차이가 있었습니다. 모델이 첫 단계부터 놓쳤는지 끝 무렵에 실패했는지 알아보려면 이 구분이 유용합니다. 이는 연구 조건에서의 해당 과제와 정책을 설명하는 결과입니다.

물체 분류 과제를 다섯 단계로 생각해 보죠. 물체를 식별하고, 다가가고, 잡고, 옮기고, 제자리에 놓습니다. 마지막 단계가 단순하다면 물건을 놓기 직전까지 안정적으로 가는 모델을 개선해 볼 만합니다. 실패할 때 무거운 물체를 떨어뜨린다면 같은 높은 진척도 점수도 운영에는 별 위안이 되지 않습니다. 부분 진척도는 어디를 조사해야 할지 알려줍니다. 물리적 결과를 보면 그 행동이 작업장에 적합한지 알 수 있습니다.

짧은 시연에서는 재시도를 지나치기 쉽습니다. 바쁜 라인에서는 재시도에도 시간이 들고 사람이 장면을 다시 맞춰야 할 수 있습니다. 성공할 때 10초가 걸려도 일부 실행에서 복구에 1분이 걸린다면, 더 느리지만 개입이 적은 정책보다 처리량이 낮을 수 있습니다. 중요한 중단 사례가 나올 만큼 충분히 반복하면서 성공 여부와 복구 시간을 함께 재세요.

영상으로 살펴보는 것도 도움이 됩니다. 완전 성공, 부분 성공, 여러 원인으로 실패한 시도의 영상 표본을 남기세요. 물체를 잡자마자 영상이 끝나면 물체를 놓는 장면이 빠질 수 있습니다. 시도 전체를 본 평가자라야 완수한 일과 가능성만 보인 동작을 구분할 수 있습니다.

연구의 비교 방식을 현장 시험에 적용한다

현장에 실제로 필요한 일부터 시험하세요. 창고라면 반사되는 포장과 이따금 찌그러진 상자가 섞인 운반 상자가 중요할 수 있습니다. 실험실이라면 작은 도구를 차례로 건네는 과정에 관심을 둘 수 있습니다. 과제와 시작 상태, 기대 결과를 정확히 정하면 반복 시험이 가능하고 공급업체도 무엇을 개선할지 파악할 수 있습니다.

1. 성공적으로 완료했는지 눈으로 확인할 수 있는 과제를 고르세요. 시작 배치와 완료 조건을 적으세요. 대표 물체와 어렵지만 실제로 나올 법한 사례를 넣으세요.
2. 로봇, 센서, 말단 장치, 현장 조건, 정책 버전을 기록하세요. 가능하다면 후보 정책을 동일한 현장 설정과 지시로 실행하세요.
3. 처음 상태의 실행과 적응 후 실행을 분리하세요. 적응에 필요했던 시범 데이터 수와 작업량, 별도로 남겨 둔 예시를 기록하세요.
4. 완전 성공, 부분 진척, 완료 시간, 개입을 관찰하세요. 설정에서 실패했거나 작업자가 초기화해야 했던 시도도 기록에 남기세요.
5. 관련 조건이 달라지는 근무조나 장소에서 반복하세요. 새 물체 조합을 사용하거나 시작 위치가 중심에서 조금 벗어났을 때의 동작을 잴 수 있습니다.
6. 자격을 갖춘 담당자와 현장 절차에 따라 배치 제어와 물리 안전을 평가하세요. 연구 벤치마크는 정책의 동작을 잽니다. 작업장 평가에서는 로봇 주변의 사람과 장비도 고려해야 합니다.

정성적인 차이를 판단하는 팀은 익명 처리한 영상 두 개를 나란히 검토할 수 있습니다. 허용 가능한 동작을 문서로 정의하고 안전하지 않거나 쓸 수 없는 시도를 표시하게 하세요. 의견이 갈렸을 때 이유를 알아볼 수 있도록 메타데이터를 충분히 남기세요. 모델을 가리면 브랜드 선호의 영향을 줄일 수 있고, 공통 평가표가 있으면 다른 장소의 평가자도 같은 기준으로 결과를 볼 수 있습니다.

정책을 비교하기 전에 평가 트랙부터 구분한다

Open Track과 Fine-tune Track은 관련된 질문을 서로 다른 방식으로 시험합니다. 사전 공개 논문에 따르면 Open Track은 124곳의 쌍대 비교 5,699건을 사용합니다. 쌍대 시험은 과제와 장소가 비슷할 때 두 정책이 어떻게 작동하는지 보여줍니다. 모든 장소에서 모든 로봇으로 모든 과제를 시험했다는 뜻은 아닙니다.

논문에 보고된 Fine-tune Track 평가에는 과제 20개에 각각 시범 데이터 100개를 사용합니다. 저자들은 그 트랙에서 Unitree G1이 평가된 과제 다섯 개를 완전히 끝낸 경우가 없었으며, 평균 진척 점수는 13.3%에서 23.2%였다고 보고합니다. 부분 점수는 최종 결과가 0이라는 사실보다 격차를 잘 보여줍니다. 정책이 과제를 끝내지 못했어도 평가 기준상 관찰할 수 있는 진척을 냈다는 뜻입니다.

저자들은 하드웨어별 과제 묶음 네 개의 진척도 순위에서 켄들 일치계수 0.24를 보고합니다. 이는 순위의 일치 정도이고 과제 완료율과는 다른 값입니다. 각 묶음은 기체와 함께 사용된 과제와 설정도 다릅니다. 낮은 일치도는 내 환경에서 고른 조합을 검증할 근거가 됩니다. 순위 차이의 원인을 로봇 형태만으로 특정할 수는 없습니다.

현장 시험에서 두 근무조의 조건을 맞춘다

물류센터가 두 근무조에서 로봇으로 동일한 포장용 삽입재를 트레이에서 상자로 옮기려 한다고 가정해 보죠. 작업자들은 저녁조에서 다른 트레이를 사용하고 자연광도 적다는 사실을 알아차립니다. 더 깔끔한 실험실로 옮기기보다 두 환경에서 두 후보 정책을 모두 실행하세요. 근무조마다 실행 순서를 번갈아 배터리 상태, 움직인 고정구, 작업자의 숙련 효과가 한 후보에게만 유리하지 않게 하세요.

물체의 초기 자세, 허용할 센서 또는 조명 설정, 작업자가 개입하는 방식, 배치의 완료 조건을 적으세요. 실패 영상과 개입 기록도 남기세요. 한 정책이 트레이를 다시 놓은 뒤에만 나아진다면, 최종 평균보다 그 개입이 배치 여부를 정하는 데 중요할 수 있습니다. 그 관찰을 바탕으로 고정구를 바꾸거나 다음 정책 시험에 넣을 사례를 더 잘 고를 수 있습니다.

좋은 채점표는 눈으로 확인 가능한 단계마다 부분 점수를 줍니다. 맞는 삽입재를 찾고도 들어 올리지 못한 그리퍼와, 들어 올렸지만 상자에 놓지 못한 그리퍼는 개선점이 다릅니다. 두 평가자가 같은 시험을 일관되게 해석하도록 각 단계를 단순하게 정의하세요. 안전 정지는 별도 범주로 두세요. 작업자가 구역에 들어와 로봇이 멈췄다면 과제를 끝내지 못했어도 올바르게 동작했을 수 있습니다.

다음 단계에 필요한 증거를 정한다

성공한 실험실 시연은 현장 시험을 해볼 근거가 되고, 성공한 현장 시험은 더 긴 시험 운영을 할 근거가 됩니다. 결정마다 받아들일 수 있는 증거의 기준이 다릅니다. 구매팀은 예측하기 어려운 구역으로 넓히기 전에 일반적인 두 근무조에서 반복 가능하다는 결과를 요청할 수 있습니다. 연구자는 정책이 다른 환경에서도 통했다고 말하기 전에 실패 분류와 반복 조건을 요청할 수 있습니다.

결과가 엇갈리면 환경에서 무엇이 바뀌었고 어느 동작이 실패했는지 남기세요. 순위가 뒤집히면 기존 벤치마크에 없었던 과제가 드러날 수 있습니다. 그 결과를 보면 다른 로봇, 다른 정책, 수정한 작업 셀, 더 대표적인 시험 중 무엇이 필요한지 정하기 쉬워집니다.

논문에서 순위가 뒤집힌 사례를 읽는다

Fine-tune Track에는 과제 묶음 네 개에서 순위가 어떻게 바뀌는지 보여주는 사례가 있습니다. 진척도 순위에서 π0.5는 Franka와 Bimanual-YAM에서 1위, G1에서 4위입니다. GR00T N1.7은 SO-101에서 1위지만 Franka와 Bimanual-YAM에서는 4위입니다. 수치는 논문이 보고한 과제 묶음과 진척도 지표에 한정됩니다. 구매팀은 이 순위를 과제와 환경, 하드웨어 조합이 달라지면 순위도 움직일 수 있다는 사례로 읽을 수 있습니다.

논문은 어떤 비교를 실행할지 능동적으로 고르는 방법도 연구합니다. 분석에서 적응적으로 고른 약 400~500회의 평가는 전체 데이터 순위와 약 90% 일치했습니다. 균일하게 고른 경우에는 약 1,000회가 필요했습니다. 이 평가 설계에서 나온 결과입니다. 현장 시험에 적용할 아이디어는 있습니다. 대표 사례를 최소한 고정해 두면서, 선두 후보 간 차이가 불분명한 경우에 더 많은 반복을 배정하는 방법입니다.

시설에서는 초기 시험과 적응형 시험을 분리할 수 있습니다. 초기에는 같은 개입 규칙 아래 두 후보에 같은 작업을 맡기세요. 두 번째에는 초기 결과가 엇갈린 환경에서 반복하세요. 원래 인수 규칙은 유지하세요. 안전이나 현실적인 이유로 제외한 설정이 있으면 이유를 남기세요. 최종 보고서는 추가 시험으로 의사결정이 어떻게 달라졌는지 설명할 수 있어야 합니다.

가장 중요한 작업에 관한 정보를 산다

분산 평가는 실험실 한 곳이 재현하기 힘든 다양한 환경을 모을 수 있습니다. 현장 시험은 우리 팀이 맡는 일을 깊이 확인하게 해줍니다. 두 접근은 함께 쓸 수 있습니다. 폭넓은 증거로 유력 후보를 찾고 자체 평가로 시스템의 실용성을 가르는 예외를 알아내세요.

가장 좋은 비교는 정책이나 하드웨어가 바뀐 뒤에도 팀이 다시 실행할 수 있는 비교입니다. 점수와 함께 과제, 설정, 실패 사례를 보관하세요. 순위가 움직이면 변화가 실제 업무를 개선하는지 판단할 정보가 남습니다.

출처

• RoboColosseum 논문의 평가 절 4.3~4.5

• RoboColosseum 사전 공개 논문 11월 2일 버전

• RoboColosseum 프로젝트와 공개 평가 뷰어

---

업무의 배경이 된 대화와 결정 사항을 검색 가능한 기록으로 남기려면 Telli.sh 계정을 만드세요.