Dá para mudar as instruções de um robô enquanto ele se move?

Um robô está separando blocos de espuma quando o recipiente vermelho enche. O próximo bloco já está na garra. Uma interface útil deveria permitir ao operador redirecionar o passo seguinte, perguntar o que a câmera vê ou interromper a execução. Cada ação tem uma consequência diferente quando a garra está carregada.

Em 5 de novembro, a Hugging Face lançou o LeRobot 0.7.0, nova versão do seu conjunto de ferramentas de código aberto para coletar demonstrações, treinar políticas de controle e executá-las em equipamentos. A execução interativa mantém a conexão com o robô e a política carregada enquanto o operador dá instruções novas pelo terminal. Políticas compatíveis ou um planejador externo também podem interpretar a cena e escolher outra subtarefa. A versão ainda reformula o acesso contínuo a conjuntos de dados, o treinamento e a inferência remota. Os controles ao vivo merecem atenção porque mudam o que o operador pode fazer no meio de um experimento. Anúncio do LeRobot · Versão v0.7.0

Os exemplos a seguir são cenários de bancada para planejar um piloto. Eles separam o que se pede ao modelo, o que o controlador envia e o que se pode observar depois.

Suporte de câmera no pulso do SO-101 fotografado pelo The Robot Studio. A imagem mostra uma posição de câmera compatível com o equipamento e vem do projeto SO-ARM100 sob a licença Apache 2.0. O Telli.sh redimensionou a foto e acrescentou margens.

Três comandos dão ao operador três funções distintas

Comandos interativos e a função de cada um. Ilustração original do Telli.sh.

Uma execução, ou rollout, é uma sessão em que uma política recebe observações e produz ações. A observação pode incluir imagens e posições medidas das articulações. Na versão 0.7, acrescentar --interactive=true a uma sessão configurada de lerobot-rollout mantém a conexão, os pesos da política e os processadores carregados entre instruções. A versão mostra cinco comandos de terminal. /start e /stop delimitam as três maneiras de orientar ou consultar a execução. Anúncio do LeRobot · Documentação de execução v0.7.0

O anúncio cita FineART-VLA e Wall-OSS-0.5 como exemplos de políticas capazes de gerar o texto necessário para perguntas e objetivos. Um modelo externo de visão e linguagem compatível pode oferecer essa capacidade a uma política de ação que não gera texto. A versão descreve uma API compatível com OpenAI para o planejador, com execução local ou hospedada. Ele pode responder a perguntas visuais e instruir a política. A política de ação continua responsável por transformar a subtarefa em ações do robô. Sessões interativas e planejador externo · Documentação de execução v0.7.0

A distinção aparece em uma bancada cheia. Se a câmera não vê a borda de um recipiente, uma resposta fluente sobre ele ainda oferece evidência fraca. Se o planejador escolhe corretamente um bloco azul e ele escorrega da garra, a parte de linguagem funcionou e a tentativa física falhou. Separar pergunta, ação da política e resultado ajuda a decidir se é melhor mover a câmera, revisar a instrução ou trabalhar na preensão.

Mude o alvo sem ampliar demais a tarefa

Considere dois recipientes coloridos, três blocos macios e um braço compatível. Comece por uma tarefa conhecida, como pegar um bloco vermelho, e escolha um segundo alvo que a política já tenha alcançado em condições parecidas. Na primeira rodada, peça a mudança antes do contato. Quando o operador vir que funcionou, recomece do estado inicial e introduza a mudança mais tarde no movimento. Uma instrução durante o deslocamento e outra depois que a garra fecha exigem coisas diferentes da política.

Observe o primeiro movimento na direção do novo alvo e onde o bloco termina. O horário do vídeo mostra quanto demorou para aparecer o redirecionamento. O terminal informa quando você digitou. Registrar os dois dá uma medida de atraso interpretável, inclusive quando o software aceitou a entrada, mas o movimento novo foi difícil de notar. Uma condição de parada definida antes do teste evita esperar indefinidamente por uma correção que talvez não venha.

Outro exemplo é reorganizar a bancada após um teste. Comece com um objeto fora do lugar e peça ao sistema para identificar o que ficou na mesa. Tente uma visão livre e outra parcialmente obstruída antes de pedir que ele limpe a área. Se a resposta visual mudar com o ângulo, reavalie a cena ou restrinja o objetivo. Dê ao robô uma ação familiar por vez enquanto aprende como a política se comporta.

Em uma terceira rodada, passe a /autosteer um objetivo como guardar dois blocos de espuma em uma bandeja. Anote as escolhas intermediárias. O sistema pode escolher bem o primeiro objeto e ainda precisar de ajuda se o segundo estiver fora de alcance. A delegação é especialmente útil quando cada subtarefa pode ser conferida com uma sequência simples. O registro mostra se o planejador escolheu um passo ruim ou se o robô teve dificuldade com um passo adequado.

A parada no software e a parada na máquina precisam de testes próprios

Uma sessão interativa aproxima as instruções da pessoa que observa o robô. Também abre um intervalo em que a pessoa pode achar que a instrução nova já vale, enquanto ainda vê o movimento anterior. Um bom piloto registra quatro eventos separadamente. Anote quando a instrução foi enviada, quando o executor a confirmou se houver esse sinal, quando o comportamento observável mudou pela primeira vez e em qual estado o robô terminou. Se não houver confirmação, deixe a coluna vazia. Ainda dá para aprender com os outros três eventos.

A documentação de implantação descreve uma retenção por software para robôs compatíveis no fluxo de correção. Ela reafirma a última posição-alvo aplicada pelo driver. Um braço com carga ainda pode se acomodar em direção a esse alvo, e o comportamento da garra deve ser conferido no equipamento. A interface de linguagem atua acima dessa mecânica. Mantenha os procedimentos de parada física e supervisão próprios do equipamento e confirme seu efeito com a área livre antes de introduzir alterações em tempo real. Documentação de execução v0.7.0

Registre quando o redirecionamento é enviado, quando o movimento muda e como a execução termina. Ilustração original do Telli.sh.

Isso muda a forma de interpretar uma execução aparentemente bem-sucedida. Um bloco na bandeja certa pode esconder dois movimentos ruins interrompidos pelo operador. Registre a frequência das intervenções e das recuperações possíveis a partir do estado em que a máquina ficou. Uma política que retoma uma falha comum dá ao operador uma função diferente da que exige reiniciar tudo a cada erro. Meça a diferença em rodadas comparáveis, com a mesma área e os mesmos objetos.

O FineART leva os passos intermediários aos dados de treinamento

Outro motivo para acompanhar a versão é o efeito nas demonstrações. Se a gravação mostra apenas um início limpo e um fim bem-sucedido, pode ser difícil identificar o comportamento que a política deve aprender quando uma instrução muda. Rótulos de subtarefa dão ao treinamento mais informação sobre transições como pegar um objeto, colocá-lo em um local ou passar ao seguinte.

Hugging Face e Scale AI relatam mais de 40.000 episódios bimanuais, 1.718 horas e mais de 533.000 anotações de subtarefas no FineART. Na publicação de 5 de novembro, os dados somam 1,9 TB no formato LeRobot. O FineART-VLA parte do π0.5 e acrescenta um componente de linguagem que pode prever uma subtarefa verbal antes de o componente de ação realizar o movimento. Os números descrevem o conjunto dos autores. A separação entre linguagem e ação descreve seu modelo. Uma garra com outro formato, uma câmera com visão estreita e objetos ausentes dos dados ainda mudam a avaliação que você precisa fazer. Anúncio e descrição do FineART · Documentação do FineART-VLA

Ao coletar um pequeno conjunto de correções, decida o que quer reproduzir mais tarde. Inclua a instrução nova, a visão de câmera pertinente, o estado na hora da mudança e o resultado observado. Um rótulo como “o recipiente vermelho está cheio” tem outra função que “coloque o próximo bloco vermelho na bandeja vazia”. O primeiro descreve um estado. O segundo diz à política o que fazer. Mantenha os dois quando o experimento precisar. Guarde também as falhas, para que uma política futura possa ser testada no evento que motivou o trabalho.

Um primeiro piloto cabe em uma única bancada

1. Fixe a versão e escolha uma combinação compatível. Instale o LeRobot 0.7.0 seguindo a documentação da versão. Confira se robô, câmeras e política funcionam em uma tarefa conhecida. As notas de 5 de novembro dizem que as compilações padrão do PyTorch para Linux agora usam CUDA 13 e pedem driver NVIDIA 580.65 ou posterior nesse caminho. Drivers antigos exigem a instalação alternativa documentada. Trate mudanças no driver e no comportamento do robô como experimentos separados. Documentação de instalação · Versão v0.7.0

2. Rode um episódio de referência antes de redirecionar. Use uma mesa livre, um movimento limitado e a supervisão adequada ao braço. Salve a pose inicial e o alvo e registre se a política concluiu. Mantenha posição da câmera, iluminação e objetos fixos ao comparar a referência com a execução redirecionada. Configuração do SO-101

3. Ative a opção interativa na execução que já funciona. Inicie a sessão pelo terminal, dê uma subtarefa, mude-a uma vez e termine. Estes são os comandos mostrados na versão, com tarefas de exemplo. Documentação de sessões interativas

   Texto simples

   /start
   /subtask move the red block to the tray
   /subtask move the blue block to the tray
   /stop
   

4. Acrescente perguntas visuais e um objetivo pequeno depois de obter uma referência repetível. Use uma política que gera texto ou configure o planejador externo conforme a documentação. Comece com uma pergunta que você possa responder pela mesma câmera. Teste um objetivo com final visível e anote o que acontece se o planejador ficar indisponível ou produzir uma subtarefa inútil. Um endpoint externo também muda onde as observações podem ser processadas. Isso importa quando a câmera vê algo além da bancada. Documentação do planejador externo

5. Compare recuperações e conclusões. Faça algumas repetições em condições equivalentes e guarde todas as falhas. Registre se o operador conseguiu ver o que ocorreu, escolher uma intervenção adequada e verificar o estado final. Poucas rodadas ajudam a ajustar a configuração. Uma afirmação de confiabilidade exige muito mais evidência nas condições previstas.

A versão 0.7.0 também troca a interface anterior de inferência assíncrona por um servidor de políticas e um modo de execução remota. Se migrar a inferência para um servidor com GPU, repita as medições de tempo e os testes de interrupção na conexão real. O servidor pode oferecer mais capacidade computacional, e a rede acrescenta uma dependência entre a próxima observação e a próxima ação. Uma conexão lenta ou indisponível merece um teste próprio. Mudanças incompatíveis da v0.7.0 · Documentação de inferência remota

O melhor teste acontece no meio da tarefa

O momento interessante de uma demonstração é quando um passo esperado deixa de fazer sentido. Um recipiente enche, um objeto muda de lugar ou o operador percebe algo que a câmera não viu. Os comandos de terminal do LeRobot permitem colocar esse momento no experimento. A pergunta é se quem supervisiona percebe a mudança, redireciona a ação seguinte e verifica o resultado com os próprios olhos.

Fontes

• Foto do suporte de câmera do SO-101 pelo The Robot Studio e licença do repositório

• Hugging Face, anúncio do LeRobot v0.7.0, 5 de novembro de 2026

• Versão LeRobot v0.7.0 no GitHub e notas de atualização

• Implantação de políticas e sessões interativas do LeRobot v0.7.0

• Documentação do SO-101 no LeRobot v0.7.0

---

Para manter um registro pesquisável das decisões e dos experimentos por trás do trabalho, crie uma conta no Telli.sh.