A ferramenta de IA que poderia tornar a fabricação mais rápida e eficiente – usando tijolos LEGO

Uma nova ferramenta movida a IA criada por pesquisadores da Escola de Ciência da Computação da Universidade Carnegie Mellon pode mudar a maneira como fabricamos e construímos coisas.

O Brickgpt usa avisos de texto para ajudar as pessoas – e até robôs – criar idéias para a vida com tijolos de Lego. É preciso uma palavra simples, como “guitarra”, e cria um guia de tijolos de tijolos para uma pessoa ou um robô para construir um modelo fisicamente estável desse objeto. Atualmente, a ferramenta está focada na construção de tijolos de Lego, mas transformar um prompt de texto em algo fisicamente estável vai além do jogo.

“Esta pesquisa abre caminho para a fabricação generativa, quando as pessoas podem usar um modelo generativo para projetar objetos do cotidiano que possam se construir”, disse Jun-Yan Zhu, professor assistente de Michael B. Donohue de ciência da computação e robótica no Instituto de Robótica da CMU (RI).

“Eles podem construir uma cadeira, um sofá ou um brinquedo infantil. Esta é uma nova fronteira, um novo uso desses modelos além da criação de vídeos ou fotos de mídia social. Essas peças de brinquedo de tijolos são um meio simples e é um ponto de partida”.

Os pesquisadores disseram que essa fusão de IA e robótica pode acelerar o processo de projetar e construir coisas novas.

“Isso pode ser um grande benefício para o mundo da manufatura”, disse Changliu Liu, professor associado do RI. “Demora muito tempo para transformar idéias em um design físico e protótipo. Mas se você puder integrar a IA generativa ao processo, ela pode melhorar significativamente a eficiência e reduzir os obstáculos para iniciar projetos”.

Atualmente, a demonstração do Brickgpt pode produzir guias passo a passo para humanos ou robôs para construir 21 tipos de modelos a partir de tijolos de Lego, incluindo uma casa de pássaros, sofá e piano. Se alguém quisesse gerar um sofá, digitaria “sofá” no Brickgpt, que gera um modelo 3D. Em seguida, um algoritmo transforma o modelo 3D em estruturas de tijolos e verificações de tijolos para garantir que a estrutura seja estável. Uma pessoa ou braço robótico pode seguir as etapas e construir o sofá.

Para treinar o BrickGPT, os pesquisadores geraram StableText2Brick, um conjunto de dados contendo mais de 47.000 estruturas de tijolos feitas de mais de 28.000 objetos 3D exclusivos acompanhados por legendas detalhadas. Os pesquisadores pegaram um conjunto de dados existentes de formas 3D, SHAPENETCORE e converteram essas formas em uma grade de cubos pequenos, um processo que o estudo descreve como voxelizante. Eles então treinaram um modelo de idioma grande autoregressivo (LLM), que prevê valores futuros com base nos anteriores.

Por exemplo, no Brickgpt, o LLM prevê o próximo tijolo com base no anterior, garantindo que a estrutura seja estável e não caia. Se houver um erro ao longo do caminho, o Brickgpt remonta e elimina pontos instáveis para garantir a estabilidade da estrutura.

Juntamente com Liu e Zhu, a equipe de pesquisa do SCS inclui Ava Pun, um estudante de doutorado no Departamento de Ciência da Computação; Kangle Deng e Ruixuan Liu, estudantes de doutorado no RI; e Deva Ramanan, professor do RI.

“Se uma estrutura é instável, há um processo de reversão”, disse Pun. “Durante essa etapa, o modelo determina quais tijolos estavam errados ou instáveis e voltamos ao ponto antes. Detectamos a instabilidade com nosso algoritmo de raciocínio físico, que gera uma pontuação de estabilidade para cada tijolo na estrutura. Se a pontuação for alta o suficiente, isso significa que o tijolo era estável”.

Os pesquisadores esperam ampliar esse modelo, permitindo gerar mais do que os 21 objetos atuais. Eles também esperam expandir a diversidade de suas peças da biblioteca para aumentar a precisão e a complexidade dos projetos gerados.