A IA física usa visão e toque para manipular objetos como um humano

Na vida cotidiana, é um acéfalo poder tomar uma xícara de café da mesa. Múltiplas entradas sensoriais, como a visão (vendo a que distância o copo está) e o toque são combinados em tempo real. No entanto, recriar isso em inteligência artificial (IA) não é tão fácil.

Um grupo internacional de pesquisadores criou uma nova abordagem que integra informações visuais e táteis para manipular os braços robóticos, enquanto responde adaptativamente ao meio ambiente. Comparado aos métodos convencionais baseados na visão, essa abordagem alcançou taxas de sucesso de tarefas mais altas. Esses resultados promissores representam um avanço significativo no campo da IA ​​física multimodal.

Detalhes de seu avanço foram publicados na revista IEEE Robótica e cartas de automação.

O aprendizado de máquina pode ser usado para apoiar a inteligência artificial (IA) para aprender padrões de movimento humano, permitindo que os robôs executem tarefas diárias autonomamente, como cozinhar e limpar. Por exemplo, Aloha (um sistema de hardware de código aberto de baixo custo para teleoperação bimanual) é um sistema desenvolvido pela Universidade de Stanford que permite a operação remota e versátil de baixo custo e o aprendizado de robôs de braço duplo. Tanto o hardware quanto o software são de código aberto, portanto a equipe de pesquisa conseguiu desenvolver essa base.

No entanto, esses sistemas dependem principalmente apenas de informações visuais. Portanto, eles não têm os mesmos julgamentos táteis que um humano poderia fazer, como distinguir a textura dos materiais ou os lados frontal e traseira dos objetos. Por exemplo, pode ser mais fácil dizer qual é a frente ou o traseiro do velcro, simplesmente tocando -o em vez de discernir como fica. Confiar apenas na visão sem outra entrada é uma fraqueza infeliz.

“Para superar essas limitações, desenvolvemos um sistema que também permite decisões operacionais com base na textura dos objetos -alvo – que são difíceis de julgar apenas por informações visuais”, explica Mitsuhiro Hayashibe, professor da Escola de Engenharia de Engenharia da Universidade de Tohoku.

“Essa conquista representa um passo importante para a realização de uma IA física multimodal que integra e processa vários sentidos, como visão, audição e toque – como nós”.

O novo sistema foi apelidado de “tatilealoha”. Eles descobriram que o robô poderia executar operações bimanuais apropriadas, mesmo em tarefas em que diferenças e adesividade da frente são cruciais, como com velcro e gravatas. Eles descobriram que, ao aplicar a tecnologia de transformadores de visão-tátil, seu robô físico de IA exibia um controle mais flexível e adaptável.

O método físico aprimorado da IA ​​foi capaz de manipular com precisão objetos, combinando várias entradas sensoriais para formar movimentos adaptativos e responsivos. Existem inúmeras aplicações práticas possíveis desses tipos de robôs para ajudar. Contribuições de pesquisa, como o Tatilealoha, nos aproximam um passo desses ajudantes robóticos, tornando -se uma parte perfeita de nossas vidas cotidianas.

O grupo de pesquisa era composto por membros da Escola de Pós -Graduação em Engenharia da Universidade de Tohoku e do Center for Transformative Groument Production, Hong Kong Science Park e da Universidade de Hong Kong.