Novos algoritmos para navegação inteligente e eficiente de robôs entre a multidão

Os robôs de serviço começaram a aparecer em diversas tarefas diárias como a entrega de encomendas, como cães-guia para deficientes visuais, como funcionários públicos em aeroportos, ou como visto em Joensuu: na fiscalização de obras. Os robôs são capazes de se mover de diferentes maneiras: sobre pernas, sobre rodas ou voando. Eles conhecem o caminho mais curto ou mais fácil para o destino. Um cão-guia pode pesquisar horários de ônibus ou até mesmo pedir um táxi quando necessário.

No entanto, os robôs têm dificuldade em lidar com uma coisa básica: mover-se no meio de uma multidão. Um robô observa o ambiente com uma câmera e outros sensores, mas seu movimento é irregular, com mudanças contínuas de direção, incluindo várias paradas. Assim, os robôs geralmente não têm permissão nem para viajar sozinhos.

O problema dos robôs mais recentes não está em encontrar o destino ou observar o mundo ao redor, mas nas reações em tempo real da multidão. Os métodos atuais requerem muitos recursos computacionais e, portanto, não são adequados para aplicação em tempo real, onde as reações deveriam ser rápidas.

Em sua dissertação, Chengmin Zhou, MSc, utilizou algoritmos de aprendizagem por reforço (RL) para a navegação de robôs de serviço. Os algoritmos resolvem tarefas de navegação no caso de vários obstáculos em movimento – isto é, por exemplo, numa situação em que o robô se move no meio de uma multidão de pessoas e tem tempo limitado para reagir.

A melhor solução acabou sendo um algoritmo RL sem modelo, que permite aos robôs aprender com suas experiências históricas. Após treinamento ou aprendizagem, os robôs são capazes de sobreviver mesmo em situações desafiadoras. No entanto, o algoritmo RL sem modelo tem muitos desafios, como eficiência de aprendizagem lenta (convergência). Nesta dissertação, a eficiência da aprendizagem foi melhorada de duas maneiras diferentes:

1. Utilização de dados coletados durante a operação para treinamento de robôs. Ao operar robôs, novos dados em tempo real são obtidos. Esses dados podem ser combinados com dados de treinamento anteriores, potencializando assim o treinamento do robô.
2. Traduzindo informações ambientais. As informações do sensor coletadas do ambiente operacional do robô não podem ser aprendidas com eficiência e precisão. Deve ser interpretado ou traduzido para que o robô possa aprendê-lo facilmente e o conhecimento aprendido (modelo treinado) possa ser utilizado para navegação em outras situações semelhantes.

A navegação robótica é aprimorada a partir de três aspectos técnicos: ações discretas (dando aos robôs opções limitadas de ação para escolher a próxima ação), mistura de dados em tempo real e dados históricos e exploração de dados relacionais (utilizando o relacionamento do robô e os obstáculos para treinar os robôs). ). Os algoritmos desenvolvidos foram testados tanto com simulações de computador quanto em ambiente de laboratório na Universidade de Tecnologia de Shenzhen, na China.

A dissertação de doutorado de Chengmin Zhou, MSc, intitulada “Deep Reinforcement Learning for Crowd-Aware Robotic Navigation”, será examinada na Faculdade de Ciências, Silvicultura e Tecnologia, Joensuu Science Park, 19 de outubro de 2023. O oponente será o Professor Juha Röning , Universidade de Oulu, e o custódio será o Professor Pasi Fränti, Universidade do Leste da Finlândia. A língua da defesa pública é o inglês.