Novo sistema de simulação gera milhares de exemplos de treinamento para mãos e braços robóticos

Quando o ChatGpt ou Gemini dão o que parece ser uma resposta especializada às suas perguntas ardentes, você pode não perceber quanta informação ela depende para dar essa resposta. Como outros modelos populares de inteligência artificial generativa (IA), esses chatbots dependem de sistemas de backbone chamados modelos de fundação que treinam bilhões, ou até trilhões de pontos de dados.

Da mesma forma, os engenheiros esperam construir modelos de fundação que treinam uma variedade de robôs em novas habilidades, como pegar, mover -se e colocar objetos em lugares como casas e fábricas. O problema é que é difícil coletar e transferir dados instrucionais para os sistemas robóticos. Você pode ensinar seu sistema teleoperando o hardware passo a passo usando a tecnologia como a realidade virtual (VR), mas isso pode ser demorado. O treinamento em vídeos da Internet é menos instrutivo, pois os clipes não fornecem uma tarefa especializada e passo a passo para robôs específicos.

Uma abordagem orientada a simulação chamada “PhysicsGen” do Laboratório de Ciência da Computação e Ciência da Computação do MIT (CSAIL) e do Instituto Robótica e do Instituto AI personaliza os dados de treinamento de robôs para ajudar os robôs a encontrar os movimentos mais eficientes para uma tarefa. O sistema pode multiplicar algumas dezenas de demonstrações de VR em quase 3.000 simulações por máquina. Essas instruções de alta qualidade são mapeadas para as configurações precisas de companheiros mecânicos, como braços e mãos robóticos.

O PhysicsGen cria dados que generalizam para robôs e condições específicos por meio de um processo de três etapas. Primeiro, um fone de ouvido VR rastreia como os humanos manipulam objetos como blocos usando suas mãos. Essas interações são mapeadas em um simulador de física 3D ao mesmo tempo, visualizando os pontos -chave de nossas mãos como pequenas esferas que espelham nossos gestos. Por exemplo, se você virou um brinquedo, verá formas 3D representando diferentes partes de suas mãos girando uma versão virtual desse objeto.

O oleoduto remapeia esses pontos para um modelo 3D da configuração de uma máquina específica (como um braço robótico), movendo -os para as “juntas” precisas, onde um sistema gira e gira. Finalmente, o PhysicsGen usa a otimização de trajetória – simulando essencialmente os movimentos mais eficientes para concluir uma tarefa – para que o robô conhece as melhores maneiras de fazer coisas como reposicionar uma caixa.

Cada simulação é um ponto de dados de treinamento detalhado que caminha um robô por maneiras em potencial de lidar com objetos. Quando implementado em uma política (ou o plano de ação que o robô segue), a máquina tem várias maneiras de abordar uma tarefa e pode experimentar movimentos diferentes se não funcionar.

“Estamos criando dados específicos de robôs sem precisar de seres humanos para regravar demonstrações especializadas para cada máquina”, diz Lujie Yang, um Ph.D. do MIT. estudante em engenharia elétrica e ciência da computação e afiliada da CSAIL, que é o principal autor de um novo artigo postado no arxiv Servidor de pré -impressão que apresenta o projeto. “Estamos ampliando os dados de uma maneira autônoma e eficiente, tornando as instruções de tarefas úteis para uma ampla gama de máquinas”.

A geração de tantas trajetórias instrucionais para os robôs pode eventualmente ajudar os engenheiros a criar um conjunto de dados enorme para orientar máquinas como braços robóticos e mãos hábil. Por exemplo, o oleoduto pode ajudar dois braços robóticos a colaborar a pegar itens de armazém e colocá -los nas caixas certas para entregas. O sistema também pode orientar dois robôs a trabalhar juntos em uma casa em tarefas como guardar xícaras.

O potencial da PhysicsGen também se estende à conversão de dados projetados para robôs mais antigos ou ambientes diferentes em instruções úteis para novas máquinas. “Apesar de serem coletados para um tipo específico de robô, podemos reviver esses conjuntos de dados anteriores para torná -los mais úteis”, acrescenta Yang.

Adição por multiplicação

O PhysicsGen transformou apenas 24 demonstrações humanas em milhares de objetos simulados, ajudando os objetos digitais e reais a reorientar os objetos.

Yang e seus colegas testaram primeiro seu oleoduto em um experimento virtual, onde uma mão robótica flutuante necessária para girar um bloco para uma posição alvo. O robô digital executou a tarefa a uma taxa de precisão de 81%, treinando o enorme conjunto de dados da Physicgen, uma melhoria de 60% em relação a uma linha de base que só aprendeu com demonstrações humanas.

Os pesquisadores também descobriram que o PhysicsGen poderia melhorar como os braços robóticos virtuais colaboram para manipular objetos. Seu sistema criou dados de treinamento extras que ajudaram dois pares de robôs a realizar tarefas com sucesso até 30% mais frequentemente do que uma linha de base puramente ensinada.

Em um experimento com um par de braços robóticos do mundo real, os pesquisadores observaram melhorias semelhantes que as máquinas se uniram para virar uma caixa grande em sua posição designada. Quando os robôs se desviaram da trajetória pretendida ou manipularam o objeto, foram capazes de recuperar a tarefa intermediária referenciando trajetórias alternativas de sua biblioteca de dados instrucionais.

O autor sênior Russ Tedrake, que é o professor de engenharia elétrica e ciência da computação da Toyota, aeronáutica e astronáutica e engenharia mecânica do MIT, acrescenta que essa técnica de geração de dados guiada por imitação combina os pontos fortes da demonstração humana com o poder dos algoritmos de planejamento de movimentos de robô.

“Mesmo uma única demonstração de um humano pode facilitar muito o problema de planejamento de movimento”, diz Tedrake, que também é vice -presidente sênior de grandes modelos de comportamento do Toyota Research Institute e da CSAIL Principal Investigator. “No futuro, talvez os modelos de fundação possam fornecer essas informações, e esse tipo de técnica de geração de dados fornecerá um tipo de receita pós-treinamento para esse modelo”.

O futuro do Physicsgen

Em breve, o PhysicsGen pode ser estendido a uma nova fronteira: diversificar as tarefas que uma máquina pode executar.

“Gostaríamos de usar o Physicsgen para ensinar um robô a derramar água quando ela só foi treinada para guardar pratos, por exemplo”, diz Yang. “Nosso pipeline não gera apenas movimentos dinamicamente viáveis para tarefas familiares; também tem o potencial de criar uma biblioteca diversificada de interações físicas que acreditamos que possa servir como blocos de construção para realizar tarefas inteiramente novas que um humano não demonstrou”.

A criação de muitos dados de treinamento amplamente aplicável pode eventualmente ajudar a criar um modelo de fundação para robôs, embora os pesquisadores do MIT advertem que esse é um objetivo um pouco distante. A equipe liderada pela CSAIL está investigando como o PhysicsGen pode aproveitar recursos vastos e não estruturados-como vídeos da Internet-como sementes para simulação. O objetivo: transformar o conteúdo visual diário em dados ricos e prontos para o robô que poderiam ensinar máquinas a executar tarefas que ninguém os mostrou explicitamente.

Yang e seus colegas também pretendem tornar o Physicsgen ainda mais útil para robôs com diversas formas e configurações no futuro. Para que isso aconteça, eles planejam alavancar conjuntos de dados com demonstrações de robôs reais, capturando como as articulações robóticas se movem em vez de humanas.

Os pesquisadores também planejam incorporar a aprendizagem de reforço, onde um sistema de IA aprende por tentativa e erro, para fazer com que o PhysicsGen expanda seu conjunto de dados além dos exemplos fornecidos pelo homem. Eles podem aumentar seu oleoduto com técnicas avançadas de percepção para ajudar um robô a perceber e interpretar seu ambiente visualmente, permitindo que a máquina analise e se adapte às complexidades do mundo físico.

Por enquanto, o PhysicsGen mostra como a IA pode nos ajudar a ensinar diferentes robôs a manipular objetos na mesma categoria, particularmente rígidos. O oleoduto pode em breve ajudar os robôs a encontrar as melhores maneiras de lidar com itens macios (como frutas) e deformáveis (como argila), mas essas interações ainda não são fáceis de simular.

Esta história é republicada, cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que abrange notícias sobre pesquisa, inovação e ensino do MIT.