O aprendizado por reforço permite que robôs subaquáticos localizem e rastreiem objetos subaquáticos

Uma equipe de pesquisa mostrou pela primeira vez que o aprendizado por reforço – ou seja, uma rede neural que aprende a melhor ação a ser executada em cada momento com base em uma série de recompensas – permite que veículos autônomos e robôs subaquáticos localizem e rastreiem cuidadosamente objetos e animais marinhos. .

Os detalhes são relatados em um artigo publicado em Robótica Científica.

Atualmente, a robótica subaquática surge como uma ferramenta fundamental para melhorar o conhecimento dos oceanos face às muitas dificuldades na sua exploração, com veículos capazes de descer a profundidades até 4.000 metros. Além disso, os dados in situ que fornecem ajudam a complementar outros dados, como os obtidos de satélites. Esta tecnologia permite estudar fenômenos de pequena escala, como o CO₂ captura por organismos marinhos, o que ajuda a regular as alterações climáticas.

Especificamente, este novo trabalho revela que a aprendizagem por reforço, amplamente utilizada na área de controle e robótica, bem como no desenvolvimento de ferramentas relacionadas ao processamento de linguagem natural como o ChatGPT, permite que robôs subaquáticos aprendam quais ações realizar em um determinado momento. para atingir um objetivo específico. Estas políticas de acção correspondem, ou mesmo melhoram em determinadas circunstâncias, os métodos tradicionais baseados no desenvolvimento analítico.

“Este tipo de aprendizagem permite-nos treinar uma rede neural para otimizar uma tarefa específica, o que seria muito difícil de conseguir de outra forma. Por exemplo, conseguimos demonstrar que é possível otimizar a trajetória de um veículo para localizar e rastrear objetos que se movem debaixo d’água”, explica Ivan Masmitjà, principal autor do estudo, que trabalhou entre o Institut de Ciències del Mar (ICM-CSIC) e o Monterey Bay Aquarium Research Institute (MBARI).

Isto “permitir-nos-á aprofundar o estudo de fenómenos ecológicos como a migração ou o movimento em pequena e grande escala de uma infinidade de espécies marinhas através de robôs autónomos. Além disso, estes avanços permitirão monitorizar outros instrumentos oceanográficos em tempo real através de uma rede de robôs, onde alguns podem estar na superfície monitorando e transmitindo por satélite as ações realizadas por outras plataformas robóticas no fundo do mar”, aponta Joan Navarro, pesquisadora do ICM-CSIC, que também participou do estudo.

Para realizar este trabalho, os pesquisadores utilizaram técnicas acústicas de alcance, que permitem estimar a posição de um objeto considerando medidas de distância feitas em diferentes pontos. Porém, este fato torna a precisão na localização do objeto altamente dependente do local onde são feitas as medições de alcance acústico.

E é aqui que se torna importante a aplicação da inteligência artificial e, especificamente, do aprendizado por reforço, que permite a identificação dos melhores pontos e, portanto, da trajetória ideal a ser executada pelo robô.

As redes neurais foram treinadas, em parte, utilizando o cluster de computadores do Centro de Supercomputação de Barcelona (BSC-CNS), onde está localizado o supercomputador mais poderoso da Espanha e um dos mais poderosos da Europa. “Isso permitiu ajustar os parâmetros de diferentes algoritmos com muito mais rapidez do que em computadores convencionais”, indica o professor Mario Martin, do Departamento de Ciência da Computação da UPC e autor do estudo.

Depois de treinados, os algoritmos foram testados em diferentes veículos autônomos, incluindo o AUV Sparus II desenvolvido pela VICOROB, em uma série de missões experimentais desenvolvidas no porto de Sant Feliu de Guíxols, no Baix Empordà, e na Baía de Monterey (Califórnia), em colaboração com o investigador principal do Laboratório de Bioinspiração do MBARI, Kakani Katija.

“Nosso ambiente de simulação incorpora a arquitetura de controle de veículos reais, o que nos permitiu implementar os algoritmos de forma eficiente antes de ir para o mar”, explica Narcís Palomeras, da UdG.

Para pesquisas futuras, a equipe estudará a possibilidade de aplicar os mesmos algoritmos para resolver missões mais complicadas. Por exemplo, o uso de múltiplos veículos para localizar objetos, detectar frentes e termoclinas ou ressurgência cooperativa de algas através de técnicas de aprendizagem por reforço multiplataforma.