Usando grandes modelos de linguagem para codificar novas tarefas para robôs

Você provavelmente já ouviu falar que “a experiência é o melhor professor” – mas e se aprender no mundo real for proibitivamente caro? Esta é a situação dos roboticistas que treinam suas máquinas em tarefas de manipulação. Os dados de interação do mundo real são caros, por isso seus robôs muitas vezes aprendem com versões simuladas de diferentes atividades.

Ainda assim, estas simulações apresentam uma gama limitada de tarefas porque cada comportamento é codificado individualmente por especialistas humanos. Como resultado, muitos bots não conseguem completar solicitações de tarefas que nunca viram antes. Por exemplo, um robô pode não ser capaz de construir um carrinho de brinquedo porque precisaria entender cada tarefa menor dentro dessa solicitação. Sem dados de simulação criativos e suficientes, um robô não pode completar cada etapa desse processo abrangente (às vezes chamadas de tarefas de longo horizonte).

O “GenSim” do MIT CSAIL tenta ampliar as tarefas de simulação nas quais essas máquinas podem ser treinadas, com uma diferença. Depois que os usuários solicitam que grandes modelos de linguagem (LLMs) gerem automaticamente novas tarefas ou descrevam cada etapa de um comportamento desejado, a abordagem simula essas instruções. Ao explorar o código em modelos como o GPT4, o GenSim avança ajudando os robôs a concluir cada tarefa envolvida na fabricação, tarefas domésticas e logística.

O sistema versátil possui modos exploratórios e direcionados a objetivos. No cenário direcionado a metas, o GenSim pega a tarefa que o usuário insere e divide cada etapa necessária para atingir esse objetivo. No cenário exploratório, o sistema apresenta novas tarefas. Para ambos os modos, o processo começa com um LLM gerando descrições de tarefas e o código necessário para simular o comportamento. Em seguida, o modelo usa uma biblioteca de tarefas para refinar o código. A versão final dessas instruções pode então criar simulações que ensinem os robôs a realizar novas tarefas.

Depois que os humanos pré-treinaram o sistema em dez tarefas, o GenSim gerou automaticamente 100 novos comportamentos. Enquanto isso, benchmarks comparáveis ​​só podem alcançar esse feito codificando cada tarefa manualmente. GenSim também auxiliou braços robóticos em diversas demonstrações, onde suas simulações treinaram com sucesso as máquinas para executar tarefas como colocar blocos coloridos em uma taxa mais alta do que abordagens comparáveis.

“No início, pensamos que seria incrível obter o tipo de generalização e extrapolação que você encontra em grandes modelos de linguagem para a robótica”, diz MIT CSAIL Ph.D. estudante Lirui Wang, autor principal do artigo publicado no arXiv servidor de pré-impressão.

“Portanto, decidimos destilar esse conhecimento por meio de programas de simulação. Em seguida, inicializamos a política do mundo real com base nas políticas de simulação que treinaram nas tarefas geradas e as conduzimos por meio de adaptação, mostrando que o GenSim funciona tanto na simulação quanto no mundo real.”

O GenSim pode potencialmente auxiliar na robótica de cozinha, fabricação e logística, onde a abordagem pode gerar comportamentos para treinamento. Por sua vez, isso permitiria que as máquinas se adaptassem a ambientes com processos de múltiplas etapas, como empilhar e mover caixas para as áreas corretas.

Por enquanto, o sistema só pode ajudar nas atividades de escolha e colocação – mas os pesquisadores acreditam que o GenSim poderá eventualmente gerar tarefas mais complexas e hábeis, como usar um martelo, abrir uma caixa e colocar coisas em uma prateleira. Além disso, a abordagem é propensa a alucinações e problemas de aterramento, sendo necessários mais testes no mundo real para avaliar a utilidade das tarefas que ela gera. No entanto, o GenSim apresenta um futuro encorajador para os LLMs na concepção de novas atividades robóticas.

“Um problema fundamental na aprendizagem de robôs é de onde vêm as tarefas e como podem ser especificadas”, diz Jiajun Wu, professor assistente da Universidade de Stanford, que não está envolvido no trabalho. “O artigo do GenSim sugere uma nova possibilidade: aproveitamos modelos básicos para gerar e especificar tarefas com base no conhecimento de senso comum que aprenderam. Esta abordagem inspiradora abre uma série de direções de pesquisa futuras para o desenvolvimento de um robô generalista.”

“A chegada de grandes modelos de linguagem ampliou as perspectivas do que é possível no aprendizado de robôs e GenSim é um excelente exemplo de uma nova aplicação de LLMs que não era viável antes”, acrescenta Karol Hausman, pesquisador do Google Deepmind e professor adjunto de Stanford, que também não está envolvido no artigo.

“Isso demonstra não apenas que os LLMs podem ser usados ​​para geração de ativos e ambientes, mas também que podem permitir a geração de comportamentos robóticos em escala – um feito anteriormente inatingível. Estou muito entusiasmado em ver como a geração de comportamento de simulação escalonável impactará o processo tradicional campo de aprendizagem de robôs carente de dados e estou altamente otimista sobre seu potencial para resolver muitos dos gargalos existentes.”

“A simulação robótica tem sido uma ferramenta importante para fornecer dados e benchmarks para treinar e avaliar modelos de aprendizagem de robôs”, observa Yuke Zhu, professor assistente da Universidade do Texas em Austin, que não está envolvido com o GenSim. “Um desafio prático para o uso de ferramentas de simulação é criar uma grande coleção de ambientes realistas com o mínimo de esforço humano. Prevejo que ferramentas generativas de IA, exemplificadas por grandes modelos de linguagem, podem desempenhar um papel fundamental na criação de ambientes e tarefas simuladas ricas e diversas.

“De fato, o GenSim mostra a promessa de grandes modelos de linguagem na simplificação do projeto de simulação por meio de suas impressionantes habilidades de codificação. Prevejo um grande potencial para esses métodos na criação da próxima geração de simulações robóticas em escala.”