O algoritmo de correção de cores remove o efeito da água em cenas subaquáticas

O oceano está repleto de vida. Mas, a menos que você se aproxime, grande parte do mundo marinho pode facilmente permanecer invisível. Isso ocorre porque a própria água pode atuar como uma capa eficaz: a luz que brilha através do oceano pode dobrar, espalhar e desaparecer rapidamente à medida que viaja pelo denso meio de água e reflete a neblina persistente das partículas do oceano. Isso torna extremamente desafiador capturar a verdadeira cor dos objetos no oceano sem imagá -los de perto.

Agora, uma equipe da MIT e da Woods Hole Oceanographic Institution (WHOI) desenvolveu uma ferramenta de análise de imagem que atravessa os efeitos ópticos do oceano e gera imagens de ambientes subaquáticos que parecem que a água havia sido drenada, revelando as cores verdadeiras de uma cena oceânica. A equipe combinou a ferramenta de correção de cores com um modelo computacional que converte imagens de uma cena em um “mundo” tridimensional subaquático, que pode ser explorado virtualmente.

Os pesquisadores apelidaram de nova ferramenta Seasplat, em referência à sua aplicação subaquática e a um método conhecido como Splating Gaussiano em 3D (3DGS), que pega imagens de uma cena e as coloca para gerar uma representação tridimensional completa que pode ser vista em detalhes, de qualquer perspectiva.

“Com o Seasplat, ele pode modelar explicitamente o que a água está fazendo e, como resultado, pode, de certa forma, remover a água e produzir melhores modelos 3D de uma cena subaquática”, diz o estudante de graduação do MIT, Daniel Yang.

Os pesquisadores aplicaram o Seasplat a imagens do fundo do mar, tiradas por mergulhadores e veículos subaquáticos, em vários locais, incluindo as Ilhas Virgens dos EUA. O método gerou 3D “mundos” das imagens mais verdadeiras e mais vívidas e variadas, em comparação com os métodos anteriores.

A equipe diz que o SEASPLAT poderia ajudar os biólogos marinhos a monitorar a saúde de certas comunidades oceânicas. Por exemplo, como um robô subaquático explora e tira fotos de um recife de coral, o SEASPLAT processaria simultaneamente as imagens e tornaria uma representação 3D de cor verdadeira, que os cientistas poderiam vir praticamente “voar”, no seu próprio ritmo e caminho, para inspecionar o cenário subaquático, por exemplo, por sinais de bleachamento de coral.

“Bleaching parece branco de Close Up, mas pode parecer azul e nebuloso de longe, e você pode não ser capaz de detectá -lo”, diz Yogesh Girdhar, cientista associado da Whoi. “O branqueamento de corais e diferentes espécies de coral pode ser mais fácil de detectar com imagens do mar Seasplat, para obter as cores verdadeiras no oceano”.

Girdhar e Yang apresentarão um artigo detalhando o Seasplat na Conferência Internacional do IEEE sobre robótica e automação (ICRA 2025), realizada de 19 a 23 de maio em Atlanta. Seu co-autor de estudo é John Leonard, professor de engenharia mecânica do MIT. O artigo está disponível no arxiv servidor pré -impressão.

Óptica aquática

No oceano, a cor e a clareza dos objetos são distorcidos pelos efeitos da luz que viaja pela água. Nos últimos anos, os pesquisadores desenvolveram ferramentas de correção de cores que visam reproduzir as cores verdadeiras no oceano. Esses esforços envolveram a adaptação de ferramentas desenvolvidas originalmente para ambientes fora da água, por exemplo, para revelar a cor verdadeira dos recursos em condições de neblina.

Um trabalho recente reproduz com precisão as cores verdadeiras no oceano, com um algoritmo chamado “mar-thru”, embora esse método exija uma enorme quantidade de poder computacional, o que faz com que seu uso na produção de modelos de cena em 3D desafiadores.

Paralelamente, outros avançaram em 3D Gaussian Splatting, com ferramentas que costuram imagens de uma cena e preenchem de maneira inteligente quaisquer lacunas para criar uma versão 3D inteira da cena. Esses mundos 3D permitem a “nova síntese de visão”, o que significa que alguém pode ver a cena 3D gerada, não apenas da perspectiva das imagens originais, mas de qualquer ângulo e distância.

Mas o 3DGS só foi aplicado com sucesso a ambientes fora da água. Os esforços para adaptar a reconstrução 3D às imagens subaquáticos foram dificultados, principalmente por dois efeitos subaquáticos ópticos: retroespalhamento e atenuação. A retroespalhamento ocorre quando a luz reflete de pequenas partículas no oceano, criando uma névoa do tipo véu. A atenuação é o fenômeno pelo qual a luz de certos comprimentos de onda atenua ou desaparece com distância. No oceano, por exemplo, objetos vermelhos parecem desaparecer mais do que objetos azuis quando vistos de mais longe.

Fora da água, a cor dos objetos parece mais ou menos a mesma, independentemente do ângulo ou distância da qual são vistos. Na água, no entanto, a cor pode mudar rapidamente e desaparecer, dependendo da perspectiva de alguém. Quando os métodos 3DGS tentam costurar imagens subaquáticas em um todo coesivo 3D, eles não conseguem resolver objetos devido a efeitos de retroespalhamento aquático e atenuação que distorcem a cor dos objetos em diferentes ângulos.

“Um sonho da visão robótica subaquática que temos é: imagine se você pudesse remover toda a água no oceano. O que você veria?” Leonard diz.

Um modelo nado

Em seu novo trabalho, Yang e seus colegas desenvolveram um algoritmo de correção de cores que explica os efeitos ópticos de retroespalhamento e atenuação. O algoritmo determina o grau em que todos os pixels de uma imagem devem ter sido distorcidos pelos efeitos de retroespalhamento e atenuação e, basicamente, tira esses efeitos aquáticos e calcula qual deve ser a verdadeira cor do pixel.

Yang então trabalhou o algoritmo de correção de cores em um modelo de divisão gaussiano em 3D para criar o Seasplat, que pode analisar rapidamente imagens subaquáticas de uma cena e gerar uma versão virtual 3D de cor verdadeira da mesma cena que pode ser explorada em detalhes de qualquer ângulo e distância.

A equipe aplicou o Seasplat a várias cenas subaquáticas, incluindo imagens tiradas no Mar Vermelho, no Caribe na costa de Curaçao e no Oceano Pacífico, perto do Panamá. Essas imagens, que a equipe retirou de um conjunto de dados pré-existente, representam uma variedade de locais do oceano e condições de água. Eles também testaram o Seasplat em imagens tiradas por um robô subaquático com controle remoto nas Ilhas Virgens dos EUA.

A partir das imagens de cada cenário oceânico, o Seasplat gerou um mundo 3D de cor verdadeiro que os pesquisadores foram capazes de explorar virtualmente, por exemplo, ampliando e saí de uma cena e visualizando certos recursos de diferentes perspectivas. Mesmo ao visualizar de diferentes ângulos e distâncias, eles encontraram objetos em todas as cenas mantinham sua cor verdadeira, em vez de desaparecer como seriam vistas pelo oceano real.

“Uma vez que gera um modelo 3D, um cientista pode simplesmente ‘nadar’ através do modelo como se tivesse mergulho e olhar para as coisas em detalhes altos, com cor real”, diz Yang.

Por enquanto, o método requer recursos pesados ​​de computação na forma de um computador de mesa que seria muito volumoso para levar a bordo de um robô subaquático. Ainda assim, o SEASPLAT poderia funcionar para operações amarradas, onde um veículo, amarrado a um navio, pode explorar e tirar imagens que podem ser enviadas para o computador de um navio.

“Esta é a primeira abordagem que pode construir rapidamente modelos 3D de alta qualidade com cores precisas, debaixo d’água, e pode criá-las e torná-las rapidamente”, diz Girdhar. “Isso ajudará a quantificar a biodiversidade e avaliar a saúde do recife de coral e de outras comunidades marinhas”.

Esta história é republicada, cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que abrange notícias sobre pesquisa, inovação e ensino do MIT.