Por que drones e IA não conseguem encontrar vítimas de inundação desaparecidas rapidamente, mas

Para busca e resgate, a IA não é mais precisa que os humanos, mas é muito mais rápido.

Sucessos recentes na aplicação da visão computacional e do aprendizado de máquina a imagens de drones para determinar rapidamente os danos à construção e na estrada após os furacões ou a mudança de linhas de incêndio sugerem que a inteligência artificial pode ser valiosa para procurar pessoas desaparecidas após uma inundação.

Os sistemas de aprendizado de máquina normalmente levam menos de um segundo para digitalizar uma imagem de alta resolução de um drone versus um a três minutos para uma pessoa. Além disso, os drones geralmente produzem mais imagens para visualizar do que humanamente nas primeiras horas críticas de uma pesquisa quando os sobreviventes ainda podem estar vivos.

Infelizmente, os sistemas de IA de hoje não estão à altura da tarefa.

Somos pesquisadores de robótica que estudam o uso de drones em desastres. Nossas experiências em busca de vítimas de inundações e vários outros eventos mostram que as implementações atuais da IA ficam aquém.

No entanto, a tecnologia pode desempenhar um papel na busca de vítimas de inundações. A chave é a colaboração ai-humana.

O potencial da IA

A busca de vítimas de inundações é um tipo de pesquisa e resgate no deserto que apresenta desafios únicos. O objetivo dos cientistas de aprendizado de máquina é classificar quais imagens têm sinais de vítimas e indicar onde, nessas imagens, o pessoal de pesquisa e salvamento deve se concentrar. Se o respondedor virá sinais de uma vítima, eles passam pelo local do GPS na imagem para pesquisar equipes no campo para verificar.

A classificação é feita por um classificador, que é um algoritmo que aprende a identificar instâncias semelhantes de objetos – gatos, carros, árvores – de dados de treinamento para reconhecer esses objetos em novas imagens. Por exemplo, em um contexto de busca e salvamento, um classificador identificaria instâncias de atividade humana, como lixo ou mochilas, para passar para equipes de busca e salvamento do deserto ou até mesmo identificar a própria pessoa desaparecida.

Um classificador é necessário devido ao grande volume de imagens que os drones podem produzir. Por exemplo, um único vôo de 20 minutos pode produzir mais de 800 imagens de alta resolução. Se houver 10 vôos – um número pequeno – haveria mais de 8.000 imagens. Se um respondente gastar apenas 10 segundos olhando para cada imagem, levaria mais de 22 horas de esforço. Mesmo que a tarefa seja dividida entre um grupo de “colinhos”, os humanos tendem a perder áreas de imagens e a mostrar fadiga cognitiva.

A solução ideal é um sistema de IA que digitaliza toda a imagem, prioriza as imagens que têm os sinais mais fortes das vítimas e destaca a área da imagem para que um respondente inspecione. Também pode decidir se o local deve ser sinalizado para obter atenção especial por equipes de pesquisa e salvamento.

Onde a IA fica aquém

Embora essa pareça ser uma oportunidade perfeita para visão computacional e aprendizado de máquina, os sistemas modernos têm uma alta taxa de erro. Se o sistema estiver programado para superestimar o número de locais de candidatos na esperança de não perder nenhuma vítima, provavelmente produzirá muitos candidatos falsos. Isso significaria sobrecarregar os colinhos ou, pior, as equipes de busca e precisão, que teriam que navegar por detritos e muck para verificar os locais dos candidatos.

O desenvolvimento de sistemas de visão computacional e aprendizado de máquina para encontrar vítimas de inundações é difícil por três razões.

Uma é que, embora os sistemas de visão computacional existentes sejam certamente capazes de identificar pessoas visíveis em imagens aéreas, os indicadores visuais de uma vítima de inundação geralmente são muito diferentes em comparação com os de um caminhante perdido ou fugitivo. As vítimas de enchentes são frequentemente obscurecidas, camufladas, enredadas em detritos ou submersas na água. Esses desafios visuais aumentam a possibilidade de os classificadores existentes sentirem falta das vítimas.

Segundo, o aprendizado de máquina requer dados de treinamento, mas não há conjuntos de dados de imagens aéreas em que os seres humanos estejam emaranhados em detritos, cobertos de lama e não em posturas normais. Essa falta também aumenta a possibilidade de erros na classificação.

Terceiro, muitas das imagens de drones frequentemente capturadas pelos pesquisadores são visões oblíquas, em vez de olhar diretamente para baixo. Isso significa que a localização do GPS de uma área candidata não é a mesma que a localização do GPS do drone. É possível calcular o local do GPS se a altitude e o ângulo da câmera do drone forem conhecidos, mas infelizmente esses atributos raramente são. A localização imprecisa do GPS significa que as equipes precisam gastar tempo extra pesquisando.

Como a IA pode ajudar

Felizmente, com os seres humanos e a IA trabalhando juntos, as equipes de busca e precisão podem usar com sucesso os sistemas existentes para ajudar a diminuir e priorizar imagens para uma inspeção adicional.

No caso de inundações, os restos humanos podem ser emaranhados entre vegetação e detritos. Portanto, um sistema pode identificar pedaços de detritos grandes o suficiente para conter restos mortais. Uma estratégia de pesquisa comum é identificar os locais do GPS de onde o Flotsam se reuniu, porque as vítimas podem fazer parte desses mesmos depósitos.

Um classificador de IA pode encontrar detritos comumente associados a restos mortais, como cores artificiais e detritos de construção com linhas retas ou cantos de 90 graus. Os respondentes encontram esses sinais enquanto andam sistematicamente pelas margens do rio e nas planícies de inundação, mas um classificador pode ajudar a priorizar as áreas nas primeiras horas e dias, quando pode haver sobreviventes, e mais tarde poderia confirmar que as equipes não perderam nenhuma área de interesse, pois navegavam na paisagem difícil a pé.

Este artigo é republicado da conversa sob uma licença Creative Commons. Leia o artigo original.