Robô de quatro patas atravessa terrenos difíceis graças à visão 3D aprimorada

Pesquisadores liderados pela Universidade da Califórnia em San Diego desenvolveram um novo modelo que treina robôs de quatro patas para ver com mais clareza em 3D. O avanço permitiu que um robô cruzasse de forma autônoma terrenos desafiadores com facilidade – incluindo escadas, solo rochoso e caminhos cheios de lacunas – enquanto eliminava obstáculos em seu caminho.

Os pesquisadores apresentarão seus trabalhos na 2023 Conference on Computer Vision and Pattern Recognition (CVPR), que acontecerá de 18 a 22 de junho em Vancouver, no Canadá.

“Ao fornecer ao robô uma melhor compreensão de seus arredores em 3D, ele pode ser implantado em ambientes mais complexos no mundo real”, disse o autor sênior do estudo, Xiaolong Wang, professor de engenharia elétrica e de computação na UC San Diego Jacobs School. de Engenharia.

O robô está equipado com uma câmera de profundidade voltada para a frente em sua cabeça. A câmera é inclinada para baixo em um ângulo que oferece uma boa visão da cena à sua frente e do terreno abaixo dela.

Para melhorar a percepção 3D do robô, os pesquisadores desenvolveram um modelo que primeiro tira imagens 2D da câmera e as traduz para o espaço 3D. Ele faz isso olhando para uma curta sequência de vídeo que consiste no quadro atual e alguns quadros anteriores, extraindo pedaços de informações 3D de cada quadro 2D. Isso inclui informações sobre os movimentos das pernas do robô, como ângulo da articulação, velocidade da articulação e distância do solo. O modelo compara as informações dos quadros anteriores com as informações do quadro atual para estimar a transformação 3D entre o passado e o presente.

O modelo funde todas essas informações para que possa usar o quadro atual para sintetizar os quadros anteriores. À medida que o robô se move, o modelo compara os quadros sintetizados com os quadros que a câmera já capturou. Se forem uma boa correspondência, o modelo saberá que aprendeu a representação correta da cena 3D. Caso contrário, ele faz correções até acertar.

A representação 3D é usada para controlar o movimento do robô. Ao sintetizar informações visuais do passado, o robô é capaz de lembrar o que viu, bem como as ações que suas pernas realizaram antes, e usar essa memória para informar seus próximos movimentos.

“Nossa abordagem permite que o robô construa uma memória de curto prazo de seus arredores 3D para que possa agir melhor”, disse Wang.

O novo estudo se baseia no trabalho anterior da equipe, onde os pesquisadores desenvolveram algoritmos que combinam visão computacional com propriocepção – que envolve a sensação de movimento, direção, velocidade, localização e toque – para permitir que um robô de quatro patas caminhe e corra em terreno irregular. evitando obstáculos. O avanço aqui é que, ao melhorar a percepção 3D do robô (e combiná-la com a propriocepção), os pesquisadores mostram que o robô pode atravessar terrenos mais desafiadores do que antes.

“O que é empolgante é que desenvolvemos um único modelo que pode lidar com diferentes tipos de ambientes desafiadores”, disse Wang. “Isso porque criamos uma melhor compreensão do ambiente 3D que torna o robô mais versátil em diferentes cenários”.

A abordagem tem suas limitações, no entanto. Wang observa que seu modelo atual não guia o robô para um objetivo ou destino específico. Quando implantado, o robô simplesmente segue um caminho reto e, se avistar um obstáculo, o evita, afastando-se por outro caminho reto. “O robô não controla exatamente para onde vai”, disse ele. “Em trabalhos futuros, gostaríamos de incluir mais técnicas de planejamento e completar o pipeline de navegação.”

Os co-autores do artigo incluem Ruihan Yang, UC San Diego, e Ge Yang, Instituto de Tecnologia de Massachusetts.