¿Puedes cambiar las instrucciones de un robot mientras se mueve?

Un robot clasifica bloques de espuma cuando se llena el recipiente rojo. Ya tiene el siguiente bloque en la pinza. Una buena interfaz permitiría al operador cambiar el siguiente paso, preguntar qué ve la cámara o interrumpir la ejecución. Cada acción tiene consecuencias distintas cuando la pinza sostiene peso.

El 5 de noviembre, Hugging Face publicó LeRobot 0.7.0, una nueva versión de sus herramientas de código abierto para recopilar demostraciones, entrenar políticas y ejecutarlas en robots físicos. La ejecución interactiva mantiene lista la conexión con el robot y cargada la política mientras el operador da nuevas instrucciones desde un terminal. También permite que políticas compatibles o un planificador externo interpreten la escena y elijan otra subtarea. La versión renueva además la lectura de conjuntos de datos en streaming, el entrenamiento y la inferencia remota. Los controles en directo merecen atención porque cambian lo que puede hacer el operador en mitad de un experimento. Anuncio de LeRobot · Versión 0.7.0

Estos ejemplos de banco de pruebas sirven para planificar un piloto. Separan lo que se le pide al modelo, lo que envía el controlador y lo que se puede observar después.

Montaje de una cámara de muñeca de un SO-101 fotografiado por The Robot Studio. La imagen muestra una posición de cámara compatible con este equipo y procede del proyecto SO-ARM100 bajo licencia Apache 2.0. Telli.sh ajustó el tamaño de la foto y añadió márgenes.

Tres comandos dan al operador tres tareas distintas

Comandos interactivos y función de cada uno. Ilustración original de Telli.sh.

Un rollout es una sesión activa en la que una política recibe observaciones y produce acciones. Entre las observaciones pueden figurar imágenes de cámara y posiciones medidas de las articulaciones. En la versión 0.7, añadir --interactive=true a una sesión configurada de lerobot-rollout mantiene disponibles la conexión con el robot, los pesos de la política y los procesadores entre instrucciones. El anuncio muestra cinco comandos de terminal, con /start y /stop enmarcando tres formas de orientar o consultar la sesión. Anuncio de LeRobot · Documentación de ejecución de la versión 0.7.0

El anuncio de LeRobot cita FineART-VLA y Wall-OSS-0.5 como ejemplos de políticas que generan el texto necesario para las preguntas y los objetivos. Un modelo de visión y lenguaje externo compatible puede añadir esa capacidad a una política de acción que no genera texto. La versión describe el uso de una API compatible con OpenAI para el planificador, tanto en local como en un servicio alojado. El planificador externo puede responder a preguntas visuales y dar instrucciones a la política. La política de acción sigue encargándose de convertir la subtarea en movimientos del robot. Ejecuciones interactivas y planificador externo · Documentación de ejecución de la versión 0.7.0

La diferencia se ve en un banco lleno de objetos. Si la cámara no ve el borde de un recipiente, una respuesta fluida sobre él sigue dejando pocas pruebas. Si el planificador elige bien un bloque azul y este se escapa de la pinza, la capa de lenguaje ha hecho su trabajo y el intento físico ha fallado. Separar la pregunta, la acción de la política y el resultado ayuda a decidir si toca mover la cámara, cambiar la instrucción o mejorar el agarre.

Cambia el objetivo y mantén la tarea acotada

Imagina dos recipientes de colores, tres bloques blandos y un solo brazo compatible. Empieza con una tarea conocida, como recoger un bloque rojo, y elige un segundo objetivo que la política ya haya completado en condiciones parecidas. En la primera prueba, pide el cambio antes del contacto. Cuando el operador pueda ver que ha surtido efecto, repite desde un estado inicial nuevo y da la instrucción más tarde durante el movimiento. Una orden enviada con el brazo en movimiento y otra después de que se cierre la pinza plantean problemas diferentes a la política.

Observa, por ejemplo, el primer movimiento hacia el nuevo objetivo y el lugar donde acaba el bloque. La marca de tiempo del vídeo permite ver cuánto tardó en hacerse visible el cambio de rumbo. La del terminal dice cuándo lo escribiste. Registrar ambas deja un intervalo que se puede interpretar, incluso cuando el programa aceptó la entrada pero cuesta detectar el nuevo movimiento. Una condición de parada predefinida evita que el operador espere sin límite una corrección que quizá no llegue.

Otro ejemplo útil es restablecer el puesto tras una prueba. Empieza con un objeto fuera de su sitio y pide al sistema que identifique qué queda en la mesa. Prueba primero con una vista despejada y otra con oclusiones antes de pedirle que despeje la zona. Si la respuesta visual cambia con el ángulo de la cámara, hay motivo para replantear la escena o acotar el objetivo. Dale al robot una sola acción conocida cada vez mientras aprendes cómo se comporta su política.

En una tercera prueba, dale a /autosteer un objetivo como guardar dos bloques de espuma en una sola bandeja. Anota las decisiones intermedias. El sistema puede elegir un primer objeto razonable y aun así necesitar ayuda si el segundo está fuera de alcance. Delegar el objetivo resulta especialmente útil cuando puedes contrastar cada subtarea con una secuencia sencilla esperada. El registro indica si el planificador eligió mal un paso o si al robot le costó ejecutar uno adecuado.

La parada por software y la de la máquina requieren pruebas separadas

Una sesión interactiva acerca las instrucciones a quien observa el robot. También abre un intervalo durante el cual esa persona puede creer que la nueva orden ya está activa mientras sigue viendo el movimiento anterior. Un buen piloto registra cuatro hechos por separado. Anota cuándo se envió la instrucción, cuándo acusó recibo el ejecutor si existe esa señal, cuándo cambió por primera vez el comportamiento observable y en qué estado terminó el robot. Si no hay acuse, deja la columna en blanco. Los otros tres registros siguen siendo útiles.

La documentación de despliegue de LeRobot para esta versión describe una retención por software para robots compatibles en el flujo de corrección. Vuelve a aplicar el último objetivo de posición del controlador. Un brazo con carga aún puede asentarse hacia ese objetivo y el comportamiento de la pinza debe comprobarse en la máquina física. La interfaz de lenguaje opera por encima de esa mecánica. Conserva los procedimientos de parada física y supervisión del equipo y comprueba su efecto con la zona despejada antes de introducir cambios en directo. Documentación de ejecución de la versión 0.7.0

Registra cuándo se envía el cambio, cuándo varía el movimiento y cómo termina la ejecución. Ilustración original de Telli.sh.

Esto cambia la forma de interpretar una prueba aparentemente satisfactoria. Un bloque en la bandeja correcta puede ocultar dos movimientos erróneos que hubo que interrumpir. Registra con qué frecuencia interviene alguien y cuántas veces es posible recuperarse desde el estado resultante. Una política capaz de continuar tras un fallo habitual asigna al operador un papel distinto de otra que requiere reiniciar después de cada error. Mide esa diferencia en ejecuciones comparables, con el mismo espacio y los mismos objetos.

FineART incorpora los pasos intermedios a los datos de entrenamiento

Otro motivo para seguir esta versión es lo que cambia en una demostración. Si la grabación solo muestra un buen inicio y un resultado correcto, cuesta saber qué parte de la conducta debe aprender la política cuando cambia una instrucción. Las etiquetas de subtarea aportan más información al entrenamiento sobre transiciones como agarrar un objeto, colocarlo o pasar al siguiente.

Hugging Face y Scale AI declaran más de 40.000 episodios bimanuales, 1.718 horas y más de 533.000 anotaciones de subtareas para FineART. El anuncio del 5 de noviembre cifra los datos en 1,9 TB en formato LeRobot. FineART-VLA se basa en π0.5 y añade una cabeza de lenguaje que puede predecir una subtarea verbal antes de que el componente de acción ejecute el movimiento. Las cifras describen los datos de sus autores y la división entre lenguaje y acción describe el diseño del modelo. Una pinza de otra forma, una cámara con un campo estrecho y objetos ausentes del entrenamiento siguen cambiando las pruebas necesarias. Anuncio y descripción de FineART · Documentación de FineART-VLA

Si reúnes un conjunto pequeño de correcciones, decide qué quieres reproducir más adelante. Incluye la nueva instrucción, la vista pertinente de la cámara, el estado al cambiar y el resultado observado. Una etiqueta como «el recipiente rojo está lleno» cumple una función distinta de «coloca el siguiente bloque rojo en la bandeja vacía». La primera describe un estado. La segunda indica qué hacer con él. Guarda ambas si el experimento las necesita. Conserva también los fallos para poder probar una política futura frente al suceso que motivó el trabajo.

Un primer piloto cabe en un solo banco de pruebas

1. Fija la versión y elige una combinación compatible. Instala LeRobot 0.7.0 con la documentación de esa versión. Comprueba que tu robot, la configuración de cámara y la política elegida funcionan en una tarea inicial conocida. Las notas del 5 de noviembre indican que las compilaciones predeterminadas de PyTorch para Linux usan ahora CUDA 13 y requieren el controlador de NVIDIA 580.65 o posterior en ese caso. Los controladores más antiguos requieren la instalación alternativa documentada. Prueba los cambios de controlador y de comportamiento del robot por separado. Documentación de instalación · Versión 0.7.0

2. Haz una ejecución de referencia antes de introducir cambios. Usa una mesa despejada, un movimiento acotado y las medidas de supervisión del brazo. Guarda la pose inicial y el objetivo y registra si la política completa la tarea. Mantén fijas la posición de la cámara, la luz y los objetos al comparar la referencia con la ejecución redirigida. Documentación de configuración del SO-101

3. Añade la opción interactiva a la ejecución que ya funciona. Desde el terminal, inicia la sesión, indica una subtarea, cámbiala una vez y termina la ejecución. Son comandos de sesión que muestra el anuncio, con tareas a modo de ejemplo. Documentación de sesiones interactivas

   Texto sin formato

   /start
   /subtask move the red block to the tray
   /subtask move the blue block to the tray
   /stop
   

4. Añade preguntas visuales y un objetivo delegado pequeño cuando puedas repetir la referencia. Elige una política que genere texto o configura el planificador externo según la documentación. Empieza con una pregunta que tú puedas responder con la misma cámara. Prueba un objetivo con un final visible y documenta qué ocurre si el planificador no está disponible o no propone una subtarea útil. Un servicio externo también cambia dónde se pueden procesar las observaciones, algo relevante si la cámara capta más que el banco de pruebas. Documentación del planificador externo

5. Compara las recuperaciones además de las tareas completadas. Repite unas cuantas veces en condiciones equivalentes y conserva cada fallo. Registra si el operador pudo ver lo ocurrido, elegir una intervención adecuada y confirmar el estado final. Un grupo pequeño de pruebas ayuda a afinar el montaje. Afirmar que es fiable exige muchas más pruebas en las condiciones que esperas encontrar.

La versión 0.7.0 también sustituye la interfaz anterior de inferencia asíncrona por un servidor de políticas y un modo de ejecución remota. Si finalmente trasladas la inferencia a un servidor con GPU, repite las pruebas de tiempos e interrupción por la conexión real. El servidor puede aportar más capacidad de cómputo y la red añade otra dependencia entre la nueva observación y la siguiente acción. Una conexión lenta o caída constituye un caso de prueba propio. Cambios incompatibles de la versión 0.7.0 · Documentación de inferencia remota

La mejor prueba ocurre a mitad de la tarea

Lo más interesante de una demostración robótica llega cuando un paso previsto deja de tener sentido. Se llena un recipiente, se mueve un objeto o el operador ve algo que se le escapó a la cámara. Los controles de terminal de LeRobot permiten hacer de ese momento parte del experimento. La cuestión es si quien supervisa la prueba puede distinguir qué cambió, redirigir la siguiente acción y verificar el resultado con sus propios ojos.

Fuentes

• Foto del montaje de cámara del SO-101 de The Robot Studio y licencia del repositorio

• Anuncio de LeRobot 0.7.0 de Hugging Face, 5 de noviembre de 2026

• Versión 0.7.0 de LeRobot en GitHub y notas de actualización

• Despliegue de políticas y sesiones interactivas de LeRobot 0.7.0

• Documentación del SO-101 de LeRobot 0.7.0

---

Para guardar las decisiones y los experimentos de tu trabajo en un registro en el que puedas buscar, crea una cuenta de Telli.sh.