A inovação em imagens térmicas da Purdue permite que a IA ‘veja através da escuridão total como em plena luz do dia’

Pesquisadores da Purdue University estão avançando no mundo da robótica e da autonomia com seu método com patente pendente que melhora a visão e percepção mecânica tradicional.

Zubin Jacob, professor associado de Engenharia Elétrica e de Computação de Elmore na Escola de Engenharia Elétrica e de Computação da Família Elmore, e o cientista pesquisador Fanglin Bao desenvolveram HADAR, ou detecção e alcance assistidos por calor.

A pesquisa deles foi capa da edição de 26 de julho da revista científica Nature. Um vídeo sobre o HADAR está disponível no YouTube. A Nature também lançou um episódio de podcast que inclui uma entrevista com Jacob.

Jacob disse que se espera que um em cada 10 veículos seja automatizado e que haja 20 milhões de robôs ajudantes atendendo pessoas até 2030.

Jacob diz: “Cada um desses agentes coletará informações sobre o cenário ao seu redor por meio de sensores avançados para tomar decisões sem intervenção humana.

Zubin Jacob, professor associado de eletricidade e computação da Purdue University em Elmore

“No entanto, a percepção simultânea da cena por numerosos agentes é fundamentalmente proibitiva.”

Sensores ativos tradicionais como LiDAR, ou detecção e alcance de luz, radar e sonar emitem sinais e posteriormente os recebem para coletar informações 3D sobre uma cena.

Esses métodos têm desvantagens que aumentam à medida que são ampliados, incluindo interferência de sinal e riscos para a segurança ocular das pessoas.

Em comparação, as câmeras de vídeo que funcionam com base na luz solar ou em outras fontes de iluminação são vantajosas, mas condições de pouca luz, como noite, neblina ou chuva, representam um sério impedimento.

A imagem térmica tradicional é um método de detecção totalmente passivo que coleta radiação de calor invisível originada de todos os objetos em uma cena. Ele pode sentir através da escuridão, do tempo inclemente e do brilho solar. Mas Jacob disse que desafios fundamentais dificultam a sua utilização hoje.

Bao diz: “Os objetos e seu ambiente emitem e espalham constantemente radiação térmica, levando a imagens sem textura, conhecidas como ‘efeito fantasma’.

“As imagens térmicas do rosto de uma pessoa mostram apenas contornos e algum contraste de temperatura; não há recursos, fazendo parecer que você viu um fantasma. Essa perda de informações, textura e recursos é um obstáculo para a percepção da máquina usando radiação de calor.”

HADAR combina física térmica, imagens infravermelhas e aprendizado de máquina para preparar o caminho para uma percepção de máquina totalmente passiva e consciente da física.

Jacob diz: “Nosso trabalho constrói os fundamentos teóricos da informação da percepção térmica para mostrar que a escuridão total carrega a mesma quantidade de informação que a luz do dia.

“A evolução tornou os seres humanos tendenciosos em relação ao dia. A percepção da máquina sobre o futuro superará esta dicotomia de longa data entre dia e noite.”

Bao diz: “O HADAR recupera vividamente a textura do sinal de calor desordenado e desembaraça com precisão a temperatura, emissividade e textura, ou TeX, de todos os objetos em uma cena.

“Ele vê textura e profundidade na escuridão como se fosse dia e também percebe atributos físicos além do RGB, ou vermelho, verde e azul, imagem visível ou detecção térmica convencional. É surpreendente que seja possível ver através da escuridão total como em plena luz do dia.”

A equipe testou a visão HADAR TeX usando uma cena noturna off-road.

“A visão HADAR TeX recuperou texturas e superou o efeito fantasma”, diz Bao. “Recuperou texturas finas, como ondulações de água, rugas de cascas e bueiros, além de detalhes sobre o gramado.”

Melhorias adicionais no HADAR estão melhorando o tamanho do hardware e a velocidade de coleta de dados.

“O sensor atual é grande e pesado, pois os algoritmos HADAR exigem muitas cores de radiação infravermelha invisível”, diz Bao. “Para aplicá-lo a carros ou robôs autônomos, precisamos reduzir o tamanho e o preço e, ao mesmo tempo, tornar as câmeras mais rápidas. O sensor atual leva cerca de um segundo para criar uma imagem, mas para carros autônomos precisamos de uma taxa de quadros de 30 a 60 hertz, ou quadros por segundo.”

As aplicações iniciais da visão HADAR TeX são veículos automatizados e robôs que interagem com humanos em ambientes complexos. A tecnologia poderia ser desenvolvida para aplicações em agricultura, defesa, geociências, saúde e monitoramento da vida selvagem.

Jacob e Bao divulgaram o HADAR TeX ao Purdue Innovates Office of Technology Commercialization, que solicitou uma patente sobre a propriedade intelectual. Os parceiros da indústria que pretendam desenvolver ainda mais as inovações devem contactar Dipak Narula, [email protected] sobre 2020-JACO-68773.

Jacob e Bao receberam financiamento da DARPA para apoiar a sua investigação. O Escritório de Comercialização de Tecnologia concedeu a Jacob US$ 50.000 por meio de seu Trask Innovation Fund para desenvolver ainda mais a pesquisa.

Imagem principal: HADAR, ou detecção e alcance assistidos por calor, combina física térmica, imagem infravermelha e aprendizado de máquina para preparar o caminho para uma percepção de máquina totalmente passiva e consciente da física. A pesquisa liderada por Zubin Jacob, professor associado de engenharia elétrica e de computação de Elmore, e pelo cientista pesquisador Fanglin Bao, da Purdue University, foi publicada como matéria de capa da revista revisada por pares Nature.

Versão para impressão, PDF e e-mail

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *