Um robô que pode detectar ruídos sutis ao seu redor e usá-los para localizar humanos próximos

Para partilhar espaços com humanos em segurança, o ideal é que os robôs sejam capazes de detetar a sua presença e determinar onde estão localizados, para que possam evitar acidentes e colisões. Até agora, a maioria dos robôs foi treinada para localizar humanos usando técnicas de visão computacional, que dependem de câmeras ou outros sensores visuais.

Uma equipe de pesquisa do Instituto de Tecnologia da Geórgia (Georgia Tech) desenvolveu um método alternativo para localizar uma pessoa que se baseia nos sons sutis produzidos naturalmente ao se movimentar em um determinado ambiente. Este método, apresentado em um artigo pré-publicado em arXivpode ser aplicado a uma ampla gama de sistemas robóticos.

“Nosso grupo recentemente se interessou em explorar um tema de pesquisa de alto nível sobre quais tipos de informações ‘ocultas’ estão disponíveis gratuitamente e nas quais podemos treinar modelos”, disse Mengyu Yang, um dos autores do artigo, ao Tech Xplore. “Muitas vezes, na robótica, a detecção acústica humana exige que a pessoa produza sons estranhos, como falar ou bater palmas. Com base nesses interesses, queríamos ver se os sons sutis e incidentais que os humanos produzem inadvertidamente enquanto se movem podem ser aquele sinal ‘livre’ .”

O método de localização acústica proposto por Yang e seus colegas depende de algoritmos de aprendizado de máquina. A equipe, portanto, teve que primeiro compilar um conjunto de dados que lhes permitisse treinar efetivamente seus algoritmos.

O conjunto de dados que eles criaram, apelidado de conjunto de dados Robot Kidnapper, contém 14 horas de gravações de áudio de quatro canais de alta qualidade emparelhadas com imagens de câmera 360 RGB. Essas gravações foram coletadas durante testes experimentais onde as pessoas foram solicitadas a se movimentar em torno de um robô de diferentes maneiras.

“Para coletar o conjunto de dados, registramos os participantes movendo-se em torno de um robô Stretch RE-1 em vários níveis de ‘furtividade’ (por exemplo, andando silenciosamente, andando normalmente, etc.)”, explicou Yang. “Com esses dados, somos capazes de treinar modelos de aprendizado de máquina que captam áudio na forma de espectrogramas e prevêem se há realmente uma pessoa por perto e, em caso afirmativo, sua localização em relação ao robô”.

A técnica de aprendizado de máquina desenvolvida por Yang e seus colegas foi treinada para localizar humanos apenas com base no som. Como requer apenas áudio gravado por microfones, poderia teoricamente ser implementado em qualquer robô com microfone integrado.

Os pesquisadores treinaram seu modelo para ignorar ruídos externos e irrelevantes, como os provenientes de sistemas de aquecimento, ventilação e ar condicionado, bem como sons produzidos pelo próprio robô. Nos testes iniciais, eles testaram sua técnica no robô Stretch RE-1, um manipulador robótico compacto e de baixo custo desenvolvido pela Hello Robot.

“Acreditamos que nosso método baseado em áudio para detecção humana é importante para o desenvolvimento de sistemas multimodais de detecção de pessoas que sejam robustos a falhas”, disse Yang. “Os robôs geralmente usam câmeras ou lidar para navegar em torno das pessoas, mas caso esses sensores falhem ou fiquem indisponíveis (ambientes com pouca iluminação, oclusões, etc.), nosso método permite que os robôs recorram apenas ao áudio, que geralmente já está disponível na maioria configurações de hardware. Além disso, ao interagir com robôs, não se deve esperar que as pessoas criem intencionalmente sons extras, que é o que os trabalhos anteriores dependem. ”

Em testes iniciais com o robô Stretch RE-1, descobriu-se que a técnica da equipe funciona duas vezes melhor que outros métodos de localização acústica, permitindo a localização eficaz de humanos próximos apenas com base nos sons produzidos incidentalmente durante a caminhada. Estes resultados destacam a viabilidade da localização acústica, que é altamente escalonável e menos intrusiva do que a localização baseada em câmera.

“Acreditamos que esta é uma melhoria em relação aos trabalhos anteriores sobre detecção acústica humana porque nosso método não exige que a pessoa produza sons estranhos para serem ouvidos pelo robô”, disse Yang.

“Isso pode ser potencialmente útil para robôs que navegam em espaços internos compartilhados com pessoas (robôs domésticos, robôs industriais, etc.), permitindo um método não intrusivo para detectar onde as pessoas estão. Embora os métodos com câmeras possam potencialmente capturar características de identificação, tais como rostos ou tatuagens e métodos acústicos que exigem que as pessoas falem, por exemplo, podem capturar sua voz, os dados que usamos para detecção humana também são muito mais difíceis de identificar a pessoa.”

No futuro, a técnica de localização humana desenvolvida por Yang e os seus colegas poderá ajudar a melhorar a segurança e o desempenho dos robôs concebidos para colaborar estreitamente com os humanos, preservando ao mesmo tempo a privacidade dos seus utilizadores. Este trabalho também pode inspirar outros grupos de pesquisa a criar outros métodos de localização para aplicações robóticas ou mesmo relacionadas à segurança que dependem de sons sutis.

“Coletamos dados de pessoas paradas e em movimento”, acrescentou Yang. “Embora o nosso artigo atual se concentre apenas na deteção e localização de pessoas em movimento, esperamos num trabalho futuro ser capaz de detetar pessoas paradas também usando apenas áudio, talvez através dos sons fracos da sua respiração ou mesmo das ligeiras alterações no som ambiente da sala devido à sua presença.”

© 2023 Science X Network