Capacitando robôs com percepção humana para navegar em terrenos difíceis

A riqueza de informações fornecidas por nossos sentidos que permite ao nosso cérebro navegar no mundo ao nosso redor é notável. Toque, cheiro, audição e um forte senso de equilíbrio são cruciais para passar pelo que nos parecem ambientes fáceis, como uma caminhada relaxante em uma manhã de fim de semana.

Uma compreensão inata da sobrecarga do dossel nos ajuda a descobrir onde o caminho leva. O estalo acentuado de galhos ou a almofada suave de Moss nos informa sobre a estabilidade de nosso pé. O trovão de uma árvore caindo ou galhos dançando em ventos fortes nos informa sobre possíveis perigos nas proximidades.

Os robôs, por outro lado, há muito tempo confiam apenas em informações visuais, como câmeras ou lidar, para se mover pelo mundo. Fora de Hollywood, a navegação multissensorial permanece desafiadora para as máquinas. A floresta, com seu belo caos de densa vegetação rasteira, troncos caídos e terrenos em constante mudança, é um labirinto de incerteza para os robôs tradicionais.

Agora, pesquisadores da Duke University desenvolveram uma nova estrutura chamada Wildfusion que funde a visão, a vibração e o toque para permitir que os robôs “detectem” ambientes externos complexos como os humanos. O trabalho está disponível no arxiv O PREPRINT Server e foi recentemente aceito na Conferência Internacional do IEEE sobre robótica e automação (ICRA 2025), que será realizada de 19 a 23 de maio de 2025, em Atlanta, Geórgia.

“O Wildfusion abre um novo capítulo em navegação robótica e mapeamento em 3D”, disse Boyuan Chen, professor assistente da família Dickinson de engenharia mecânica e ciência de materiais, engenharia elétrica e computacional e ciência da computação na Universidade de Duke. “Ajuda os robôs a operar com mais confiança em ambientes não estruturados e imprevisíveis, como florestas, zonas de desastres e terrenos off-road”.

“Os robôs típicos dependem muito da visão ou do lidar, que muitas vezes vacilam sem caminhos claros ou marcos previsíveis”, acrescentou Yanbaihui Liu, o principal autor estudantil e um doutorado do segundo ano. aluno no laboratório de Chen.

“Mesmo os métodos avançados de mapeamento em 3D lutam para reconstruir um mapa contínuo quando os dados do sensor são escassos, barulhentos ou incompletos, o que é um problema frequente em ambientes externos não estruturados. Esse é exatamente o desafio que foi projetado para resolver”.

Wildfusion, construído em um robô quadrúpede, integra múltiplas modalidades de detecção, incluindo uma câmera RGB, LiDAR, sensores inerciais e, principalmente, entre em contato com microfones e sensores táteis. Como nas abordagens tradicionais, a câmera e o Lidar capturam a geometria, a cor, a distância e outros detalhes visuais do ambiente. O que torna o Wildfusion Special é o uso de vibrações acústicas e toques.

À medida que o robô caminha, os microfones de contato registram as vibrações exclusivas geradas por cada etapa, capturando diferenças sutis, como a trituração de folhas secas versus o macio macio de lama.

Enquanto isso, os sensores táteis medem quanta força é aplicada a cada pé, ajudando a estabilidade ou o escorregador a sensação de robôs em tempo real. Esses sentidos adicionais também são complementados pelo sensor inercial que coleta dados de aceleração para avaliar quanto o robô está balançando, arremessando ou rolando à medida que atravessa o solo desigual.

Cada tipo de dados sensoriais é então processado através de codificadores especializados e fundido em uma única representação rica. No coração da selvagem, há um modelo de aprendizado profundo baseado na idéia de representações neurais implícitas.

Diferentemente dos métodos tradicionais que tratam o ambiente como uma coleção de pontos discretos, essa abordagem modela superfícies e recursos complexos continuamente, permitindo que o robô tome decisões mais inteligentes e intuitivas sobre onde pisar, mesmo quando sua visão é bloqueada ou ambígua.

“Pense nisso como resolver um quebra -cabeça onde estão faltando algumas peças, mas você pode imaginar intuitivamente a imagem completa”, explicou Chen. “A abordagem multimodal da Wildfusion permite que o robô preencha os espaços em branco quando os dados do sensor são escassos ou barulhentos, como o que os humanos fazem”.

O Wildfusion foi testado no Eno River State Park, na Carolina do Norte, perto do campus de Duke, ajudando com sucesso um robô a navegar em florestas densas, pastagens e caminhos de cascalho.

“Observar o robô navegar com confiança no terreno foi incrivelmente gratificante”, compartilhou Liu. “Esses testes do mundo real provaram a notável capacidade da Wildfusion de prever com precisão a travestia, melhorando significativamente a tomada de decisão do robô em caminhos seguros por meio de um terreno desafiador”.

Olhando para o futuro, a equipe planeja expandir o sistema incorporando sensores adicionais, como detectores térmicos ou de umidade, para aprimorar ainda mais a capacidade de um robô de entender e se adaptar a ambientes complexos.

Com seu design modular flexível, o Wildfusion fornece vastas aplicações em potencial além das trilhas florestais, incluindo resposta a desastres em terrenos imprevisíveis, inspeção de infraestrutura remota e exploração autônoma.

“Um dos principais desafios para a robótica hoje é o desenvolvimento de sistemas que não apenas têm um bom desempenho no laboratório, mas também funcionam de maneira confiável nas configurações do mundo real”, disse Chen. “Isso significa robôs que podem se adaptar, tomar decisões e continuar se movendo mesmo quando o mundo fica confuso”.