Um pacote de software para facilitar o uso de campos de radiância neural em pesquisa robótica

Os campos de radiância neural (NeRFs) são técnicas avançadas de aprendizado de máquina que podem gerar representações tridimensionais (3D) de objetos ou ambientes a partir de imagens bidimensionais (2D). Como essas técnicas podem modelar ambientes complexos do mundo real de forma realista e detalhada, elas podem apoiar muito a pesquisa em robótica.

A maioria dos conjuntos de dados e plataformas existentes para treinamento de NeRFs, no entanto, são projetados para serem usados ​​offline, pois exigem a conclusão de uma etapa de otimização de pose que atrasa significativamente a criação de representações fotorrealistas. Até agora, isso impediu que a maioria dos roboticistas usasse essas técnicas para testar seus algoritmos em robôs físicos em tempo real.

Uma equipe de pesquisa da Universidade de Stanford apresentou recentemente o NerfBridge, um novo pacote de software de código aberto para treinamento de algoritmos NeRF que pode permitir seu uso em experimentos de robótica online. arXivfoi projetado para conectar efetivamente o ROS (o sistema operacional do robô), uma renomada biblioteca de software para aplicativos de robótica, e o Nerfstudio, uma biblioteca de código aberto projetada para treinar NeRFs em tempo real.

“Recentemente, membros do meu laboratório, o Stanford Multi-robot Systems Lab, ficaram entusiasmados com a exploração de aplicações de Neural Radiance Fields (NeRFs) em robótica, mas descobrimos que agora não há uma maneira fácil de usar esses métodos com um robô real, por isso é impossível fazer experimentos reais com eles”, disse Javier Yu, o primeiro autor do artigo, ao Tech Xplore. “Como as ferramentas não existiam, decidimos construí-las nós mesmos e, a partir desse esforço de engenharia para ver como os NeRFs funcionam em robôs, obtivemos uma boa ferramenta que achamos que será útil para muitas pessoas na comunidade de robótica. ”

Os NeRFs são técnicas sofisticadas baseadas em redes neurais artificiais que foram introduzidas pela comunidade de pesquisa em computação gráfica. Eles essencialmente criam mapas detalhados do mundo treinando uma rede neural para reconstruir a geometria 3D e a cor da cena capturada em uma fotografia ou imagem 2D.

“O problema do mapeamento a partir de imagens é algo em que nós, da comunidade robótica, trabalhamos há muito tempo e os NeRFs oferecem uma nova perspectiva sobre como abordá-lo”, explicou Yu. “Normalmente, os NeRFs são treinados de maneira off-line, onde todas as imagens são reunidas com antecedência e, em seguida, o NeRF da cena é treinado de uma só vez. Na robótica, no entanto, queremos usar o NeRF diretamente para tarefas como navegação e, portanto, o NeRF não é útil se o obtivermos apenas quando chegarmos ao nosso destino. Em vez disso, queremos construir o NeRF de forma incremental (online) à medida que o robô explora seu ambiente. Esse é exatamente o problema que o NerfBridge resolve.”

NerfBridge, o pacote apresentado por Yu e seus colegas, utiliza imagens capturadas pelos sensores e câmeras integradas em robôs físicos. Essas imagens são transmitidas continuamente para a poderosa biblioteca de treinamento NeRF do Nerfstudio, permitindo a criação de NeRFs que estão constantemente se atualizando e melhorando à medida que o robô captura novas imagens de seus arredores.

Para demonstrar o potencial de seu método, Yu e seus colegas o usaram para treinar um NeRF com base em imagens capturadas por uma câmera montada em um quadrotor, um drone com quatro rotores, enquanto voava em ambientes internos e externos. Seus resultados foram notáveis, destacando o valor do NerfBridge para facilitar o uso de NeRFs na pesquisa de robótica.

Esse método promissor poderá, portanto, ser usado em breve por outros pesquisadores para treinar NERFs e testar seus algoritmos em robôs físicos enquanto eles navegam no ambiente circundante. Enquanto isso, Yu e seus colegas planejam explorar estratégias adicionais que possam ampliar o uso de NeRFs na robótica.

“Em última análise, esperamos que o NerfBridge diminua a barreira de entrada para outros pesquisadores começarem a observar as aplicações de NeRFs na robótica e testar seus novos algoritmos em robôs no mundo real”, acrescentou Yu. “Avançando com o NerfBridge, vamos procurar métodos para melhorar o treinamento NeRF quando as imagens são transmitidas de um robô e demonstrar as vantagens concretas do uso de mapas baseados em NeRF para outras tarefas em robótica, como localização e navegação”.

© 2023 Science X Network