Um novo modelo que permite que robôs reidentifiquem e sigam usuários humanos

Um novo modelo que permite que os robôs reidentifiquem e sigam os usuários humanos alvo

Pipeline de percepção: (a) aquisição de imagens RGB e profundidade; (b) detecção de pessoas através do Yolact++ (ver Seção III-A); (c) Re-ID de pessoa usando rede neural profunda e distância de características humanas; (d) localização de pessoas utilizando nuvem de pontos e máscara de pessoa reidentificada; (e) detecção de gestos para enviar comandos ao robô. Crédito: Rollo et al.

Nos últimos anos, roboticistas e cientistas da computação introduziram várias novas ferramentas computacionais que poderiam melhorar as interações entre robôs e humanos em ambientes do mundo real. O objetivo abrangente destas ferramentas é tornar os robôs mais responsivos e sintonizados com os utilizadores que estão a ajudar, o que poderia, por sua vez, facilitar a sua adoção generalizada.

Pesquisadores do Leonardo Labs e do Instituto Italiano de Tecnologia (IIT) na Itália introduziram recentemente uma nova estrutura computacional que permite aos robôs reconhecer usuários específicos e segui-los dentro de um determinado ambiente. Esta estrutura, introduzida em um artigo publicado como parte do Conferência Internacional IEEE 2023 sobre Robótica Avançada e seus Impactos Sociais (ARSO)permite que os robôs identifiquem novamente os usuários em seu entorno, ao mesmo tempo que executam ações específicas em resposta aos gestos manuais realizados pelos usuários.

“Nosso objetivo era criar uma demonstração inovadora para atrair as partes interessadas aos nossos laboratórios”, disse Federico Rollo, um dos pesquisadores que realizou o estudo, ao Tech Xplore. “O robô que segue pessoas é uma aplicação predominante encontrada em muitos robôs móveis comerciais, especialmente em ambientes industriais ou para auxiliar indivíduos. Normalmente, esses algoritmos usam emissores externos de Bluetooth ou Wi-Fi, que podem interferir em outros sensores e o usuário é obrigado carregar.”

O principal objetivo do trabalho recente de Rollo e seus colegas foi criar um modelo de reidentificação que pudesse reconhecer alvos específicos em imagens gravadas por uma câmera RGB. As câmeras RGB estão entre os sensores mais utilizados na área de robótica, portanto são muito fáceis de fornecer e integrar com sistemas robóticos existentes.

Um novo modelo que permite que os robôs reidentifiquem e sigam os usuários humanos alvo

Visão geral dos quadros de transformação relevantes e representação do círculo de segurança usado durante a aplicação FollowMe. Crédito: Rollo et al.

“O módulo de reidentificação que desenvolvemos compreende duas etapas consecutivas: uma etapa de calibração e uma etapa de reidentificação”, explicou Rollo.

“Durante a etapa de calibração, a pessoa alvo é solicitada a se mover aleatoriamente na frente do robô. Nesta fase, o robô utiliza uma rede neural para detectar a pessoa e aprender sua aparência na forma de incorporações de rede (pense em um vetor abstrato representando as características da pessoa). Essas incorporações são então usadas para criar um modelo estatístico que representa o alvo.”

Na segunda etapa de seu processamento, o módulo criado pelos pesquisadores reidentifica os alvos enquanto eles se movem naturalmente em seu entorno. A estrutura consegue isso analisando imagens adquiridas por uma ou mais câmeras RGB, detectando pessoas nessas imagens, computando suas características e comparando essas características com aquelas delineadas em um modelo do usuário alvo criado durante a fase de calibração.

“Se certas características correspondem estatisticamente ao modelo, a pessoa com essas características é selecionada como alvo”, disse Rollo. “Essa informação é então enviada para um módulo de localização, que calcula a posição 3D do usuário alvo e envia comandos de velocidade para o robô se mover em direção a ele. Além disso, o aplicativo inclui um módulo de detecção de gestos.”

O modelo de detecção de gestos criado por Rollo e seus colegas detecta gestos específicos das mãos de um usuário alvo e envia comandos ao robô alinhados com esses gestos. Por exemplo, se um usuário colocar a mão aberta na frente do campo de visão do robô, isso acionará o comando de parada, instruindo o robô a parar. Ao contrário, se o usuário apresentar a mão fechada, o robô voltará a operar.

Um novo modelo que permite que os robôs reidentifiquem e sigam os usuários humanos alvo

Resultados do experimento FollowMe: cada pessoa deve seguir um caminho ideal (linha vermelha tracejada) enquanto o robô (linha azul) deve segui-la. As posições de meta calculadas a partir dos dados do módulo de percepção são representadas com sinais de mais verdes. O robô é colocado na posição inicial verde e deve seguir o alvo até que a posição final vermelha seja alcançada. Crédito: Rollo et al.

Até agora, os pesquisadores testaram sua estrutura em uma série de experimentos usando o robô Robotnik RB-Kairos+. Este é um manipulador robótico móvel projetado para ser introduzido principalmente em ambientes industriais, como armazéns e locais de fabricação.

“O módulo de reidentificação demonstrou notável robustez durante os testes, mesmo em áreas lotadas”, disse Rollo. “Este comportamento robusto abre várias aplicações práticas. Por exemplo, poderia ser utilizado para mover objetos de alta carga em ambientes industriais, guiar um robô para diferentes estações em um ambiente colaborativo ou industrial, ou ajudar idosos a realocar seus pertences dentro de um ambiente lar.”

A nova estrutura de reidentificação e detecção de gestos desenvolvida por esta equipe de pesquisadores poderá em breve ser aplicada e testada em vários cenários do mundo real que exigem que robôs móveis sigam humanos e transportem itens de forma autônoma. Antes que possa ser implantado em grande escala, no entanto, Rollo e seus colegas planejam superar algumas limitações do modelo identificadas durante seus experimentos iniciais.

“Uma limitação notável é que o modelo estatístico adquirido durante a fase de calibração permanece constante durante a reidentificação”, acrescentou Rollo.

“Isso significa que se o alvo mudar de aparência, por exemplo, ao usar roupas diferentes, o algoritmo não será capaz de se adaptar e exigirá recalibração. Além disso, há um interesse expresso em explorar novas abordagens para adaptar a própria rede neural para reconhecer o alvo. , potencialmente aproveitando métodos de aprendizagem contínua. Isso poderia melhorar a correspondência estatística entre o modelo alvo e os recursos extraídos das imagens RGB, fornecendo um sistema mais adaptável e flexível.”

Mais Informações:
Federico Rollo et al, FollowMe: uma estrutura robusta de seguimento de pessoas baseada em reidentificação visual e gestos, Conferência Internacional IEEE 2023 sobre Robótica Avançada e seus Impactos Sociais (ARSO) (2023). DOI: 10.1109/ARSO56563.2023.10187536. Sobre arXiv: DOI: 10.48550/arxiv.2311.12992

Informações do diário:
arXiv

© 2023 Science X Network

Citação: Um novo modelo que permite aos robôs reidentificar e seguir usuários humanos (2023, 11 de dezembro) recuperado em 11 de dezembro de 2023 em https://techxplore.com/news/2023-12-robots-re-identify-human-users. HTML

Este documento está sujeito a direitos autorais. Além de qualquer negociação justa para fins de estudo ou pesquisa privada, nenhuma parte pode ser reproduzida sem permissão por escrito. O conteúdo é fornecido apenas para fins informativos.



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *