Os sinais de Wi-Fi refletidos podem permitir que os robôs encontrem e manipular objetos ocultos

Uma nova técnica de imagem desenvolvida pelos pesquisadores do MIT pode permitir que os robôs de controle da qualidade em um armazém de espiar por uma caixa de remessa de papelão e ver que a alça de uma caneca enterrada sob os amendoins está quebrada.

Sua abordagem aproveita os sinais de onda milimétrica (MMWAVE), o mesmo tipo de sinais usados ​​no Wi-Fi, para criar reconstruções 3D precisas de objetos que são bloqueados da visualização.

As ondas podem viajar por obstáculos comuns, como recipientes de plástico ou paredes interiores, e refletir objetos ocultos. O sistema, chamado MMNorm, coleta essas reflexões e as alimenta em um algoritmo que estima a forma da superfície do objeto.

Essa nova abordagem alcançou uma precisão de reconstrução de 96% em uma variedade de objetos diários com formas complexas e curvas, como talheres e uma broca de energia. Os métodos de linha de base de última geração alcançaram apenas 78% de precisão.

Além disso, o MMNorm não requer largura de banda adicional para obter uma precisão tão alta. Essa eficiência pode permitir que o método seja utilizado em uma ampla gama de configurações, de fábricas a instalações de vida assistida.

Por exemplo, o MMNorm pode permitir que os robôs que trabalham em uma fábrica ou em casa distinguam entre as ferramentas escondidas em uma gaveta e identificar suas alças, para que pudessem entender com mais eficiência e manipular os objetos sem causar danos.

“Estamos interessados ​​nesse problema há um bom tempo, mas estamos atingindo uma parede porque os métodos anteriores, enquanto eles eram matematicamente elegantes, não estávamos nos levando aonde precisávamos ir. Precisávamos criar uma maneira muito diferente de usar esses sinais do que foi usado por mais de um século para desbloquear novos tipos de aplicações”, diz o Fadel Adib, o professor associado, associado a meio do século para desbloqueá Media Lab e autor sênior de um artigo sobre MMNorm.

Adib é acompanhado no artigo por assistentes de pesquisa Laura Dodds, a principal autora, e Tara Borororhaki e o ex -pós -doutorado Kaichen Zhou. A pesquisa foi apresentada recentemente na Conferência Internacional Anual sobre Sistemas, Aplicações e Serviços Móveis (ACM Mobisys 2025), realizada em Anaheim, de 23 a 27 de junho.

Refletindo sobre as reflexões

As técnicas tradicionais de radar enviam sinais de mmwave e recebem reflexões do ambiente para detectar objetos ocultos ou distantes, uma técnica chamada projeção de volta.

Esse método funciona bem para objetos grandes, como um avião obscurecido pelas nuvens, mas a resolução da imagem é muito grosseira para itens pequenos, como gadgets de cozinha que um robô pode precisar identificar.

Ao estudar esse problema, os pesquisadores do MIT perceberam que as técnicas de projeção nas costas existentes ignoram uma propriedade importante conhecida como especularidade. Quando um sistema de radar transmite mmwaves, quase todas as superfícies que as ondas atingem atuam como um espelho, gerando reflexões especulares.

Se uma superfície for apontada para a antena, o sinal refletirá o objeto para a antena, mas se a superfície for apontada em uma direção diferente, a reflexão se afastará do radar e não será recebida.

“Contando a especularidade, nossa idéia é tentar estimar não apenas a localização de uma reflexão no ambiente, mas também a direção da superfície nesse ponto”, diz Dodds.

Eles desenvolveram mmNorm para estimar o que é chamado de superfície normal, que é a direção de uma superfície em um ponto específico do espaço e usam essas estimativas para reconstruir a curvatura da superfície nesse ponto.

Combinando estimativas normais da superfície em cada ponto do espaço, o MMNorm usa uma formulação matemática especial para reconstruir o objeto 3D.

Os pesquisadores criaram um protótipo MMNorm anexando um radar a um braço robótico, que faz continuamente medições à medida que se move em torno de um item oculto. O sistema compara a força dos sinais que recebe em diferentes locais para estimar a curvatura da superfície do objeto.

Por exemplo, a antena receberá as reflexões mais fortes de uma superfície apontada diretamente para ela e sinais mais fracos das superfícies que não enfrentam diretamente a antena.

Como várias antenas no radar recebem alguma quantidade de reflexão, cada antena “votos” na direção da superfície normal com base na força do sinal que recebeu.

“Algumas antenas podem ter um voto muito forte, outras podem ter um voto muito fraco, e podemos combinar todos os votos para produzir uma superfície normal que é acordada por todos os locais da antena”, diz Dodds.

Além disso, como o MMNorm estima a superfície normal de todos os pontos no espaço, gera muitas superfícies possíveis. Para se concentrar na direita, os pesquisadores emprestaram técnicas da Computer Graphics, criando uma função 3D que escolhe a superfície mais representativa dos sinais recebidos. Eles usam isso para gerar uma reconstrução 3D final.

Detalhes mais finos

A equipe testou a capacidade da MMNorm de reconstruir mais de 60 objetos com formas complexas, como a alça e a curva de uma caneca. Gerou reconstruções com cerca de 40% menos erro do que as abordagens de última geração, além de estimar a posição de um objeto com mais precisão.

Sua nova técnica também pode distinguir entre vários objetos, como um garfo, faca e colher escondida na mesma caixa. Ele também teve um bom desempenho para objetos feitos de uma variedade de materiais, incluindo madeira, metal, plástico, borracha e vidro, além de combinações de materiais, mas não funciona para objetos escondidos atrás de metal ou paredes muito grossas.

“Nossos resultados qualitativos realmente falam por si mesmos. E a quantidade de melhoria que você vê facilita o desenvolvimento de aplicativos que usam essas reconstruções 3D de alta resolução para novas tarefas”, diz Borororhaki.

Por exemplo, um robô pode distinguir entre várias ferramentas em uma caixa, determinar a forma e a localização precisas da alça de um martelo e depois planejar buscá -la e usá -la para uma tarefa. Também é possível usar o MMNorm com um fone de ouvido de realidade aumentada, permitindo que um trabalhador da fábrica veja imagens de objetos totalmente ocluídos.

Também poderia ser incorporado aos pedidos de segurança e defesa existentes, gerando reconstruções mais precisas de objetos ocultos nos scanners de segurança aeroportuários ou durante o reconhecimento militar.

Os pesquisadores desejam explorar essas e outras aplicações em potencial em trabalhos futuros. Eles também desejam melhorar a resolução de sua técnica, aumentar seu desempenho para objetos menos reflexivos e permitir que as ondas de MMM imaginem efetivamente através de oclusões mais espessas.

“Este trabalho realmente representa uma mudança de paradigma na maneira como estamos pensando nesses sinais e neste processo de reconstrução 3D. Estamos entusiasmados em ver como as idéias que ganhamos aqui podem ter um amplo impacto”, diz Dodds.

Esta história é republicada, cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que abrange notícias sobre pesquisa, inovação e ensino do MIT.