Um sistema de teleoperação baseado em visão computacional que pode ser aplicado a diferentes robôs

Avanços recentes nos campos da robótica e da inteligência artificial (IA) abriram novos e excitantes caminhos para a teleoperação, o controlo remoto de robôs para completar tarefas num local distante. Isto poderia, por exemplo, permitir aos utilizadores visitar museus à distância, realizar tarefas de manutenção ou técnicas em espaços de difícil acesso ou participar em eventos remotamente de formas mais interativas.

A maioria dos sistemas de teleoperação existentes são projetados para serem implantados em ambientes específicos e usando um robô específico. Isto torna-os difíceis de aplicar em diferentes ambientes do mundo real, limitando enormemente o seu potencial.

Pesquisadores da NVIDIA e da UC San Diego criaram recentemente o AnyTeleop, um sistema de teleoperação baseado em visão computacional que pode ser aplicado a uma ampla gama de cenários. AnyTeleop, apresentado em um artigo pré-publicado em arXivpermite a operação remota de vários braços e mãos robóticos para realizar diferentes tarefas manuais.

“Um objetivo principal da NVIDIA é pesquisar como os humanos podem ensinar robôs a realizar tarefas”, Dieter Fox, diretor sênior de pesquisa robótica da NVIDIA, chefe do Laboratório de Pesquisa em Robótica da NVIDIA, professor da Escola de Computação Paul G. Allen da Universidade de Washington. Ciência e Engenharia e chefe do Laboratório de Robótica e Estimativa de Estado da UW, disse ao Tech Xplore.

“Trabalhos anteriores se concentraram em como um ser humano irá teleoperar ou guiar o robô – mas esta abordagem tem duas barreiras. Primeiro, o treinamento de um modelo de última geração requer muitas demonstrações. Segundo, as configurações geralmente apresentam um processo caro aparelhos ou hardware sensorial e são projetados apenas para um determinado robô ou ambiente de implantação”, disse Fox.

O principal objetivo do trabalho recente de Fox e seus colegas foi criar um sistema de teleoperação de baixo custo, fácil de implantar e bem generalizado para diferentes tarefas, ambientes e sistemas robóticos. Para treinar seu sistema, os pesquisadores teleoperaram tanto robôs virtuais em ambientes simulados quanto robôs reais em ambiente físico, pois isso reduziu a necessidade de compra e montagem de muitos robôs.

“AnyTeleop é um sistema de teleoperação baseado em visão que permite aos humanos usar as mãos para controlar sistemas robóticos hábeis de mão e braço”, explicou Fox. “O sistema rastreia poses de mãos humanas a partir de câmeras únicas ou múltiplas e depois as redireciona para controlar os dedos de uma mão robótica com vários dedos. A ponta do pulso é usada para controlar o movimento do braço do robô com um planejador de movimento alimentado por CUDA.”

Em contraste com a maioria dos outros sistemas de teleoperação introduzidos em estudos anteriores, o AnyTeleop pode ter interface com diferentes braços robóticos, mãos robóticas, configurações de câmera e diferentes ambientes simulados ou do mundo real. Além disso, pode ser aplicado tanto em cenários em que os usuários estão próximos quanto em locais distantes.

A plataforma AnyTeleop também pode ajudar a coletar dados de demonstração humana (ou seja, dados que representam os movimentos e ações que os humanos realizam ao executar tarefas manuais específicas). Esses dados poderiam, por sua vez, ser usados ​​para treinar melhor robôs para completar tarefas diferentes de forma autônoma.

“O maior avanço do AnyTeleop é seu design generalizável e facilmente implantável”, disse Fox. “Uma aplicação potencial é implantar ambientes virtuais e robôs virtuais na nuvem, permitindo que usuários de ponta com computadores e câmeras de nível básico (como um iPhone ou PC) os operem remotamente. Isso poderia revolucionar o pipeline de dados para pesquisadores e desenvolvedores industriais que ensinam novas habilidades dos robôs.”

Em testes iniciais, descobriu-se que o AnyTeleop supera um sistema de teleoperação existente projetado para um robô específico, mesmo quando aplicado a este robô. Isto destaca seu valor como ferramenta para aprimorar aplicações de teleoperação.

A NVIDIA lançará em breve uma versão de código aberto do sistema AnyTeleop, permitindo que equipes de pesquisa em todo o mundo o testem e apliquem em seus robôs. No futuro, esta nova plataforma promissora poderá contribuir para a ampliação dos sistemas de teleoperação, ao mesmo tempo que facilitará a recolha de dados de formação para manipuladores robóticos.

“Agora planejamos usar os dados coletados para explorar ainda mais o aprendizado dos robôs”, acrescentou Fox. “Um foco notável no futuro é como superar as lacunas de domínio ao transferir modelos de robôs da simulação para o mundo real.”

© 2023 Science X Network