Por que tantos sistemas de IA têm o nome de Muppets?


  

Uma das maiores tendências da IA ​​recentemente foi a criação de modelos de aprendizado de máquina que podem gerar a palavra escrita com fluidez sem precedentes. Esses programas mudam o jogo, potencialmente sobrecarregando a capacidade dos computadores de analisar e produzir linguagem.

Mas algo que passou despercebido é uma tendência secundária – uma sombra para a primeira – e é isso: um número surpreendente dessas ferramentas recebeu o nome de Muppets.

Até hoje, essa nova geração de IAs de linguagem inclui um ELMo um BERT um Grover um Big BIRD a Rosita a RoBERTa pelo menos dois ERNIE s (três se você incluir ERNIE 2.0 ), e um KERMIT . Grandes players de tecnologia como Google, Facebook e Allen Institute for AI estão envolvidos, e a mania tem alcance global, com o gigante chinês de buscas Baidu e a Universidade Tsinghua de Pequim contribuindo com modelos. A convenção de nomenclatura está tão bem estabelecida que esses sistemas às vezes são chamados de "Muppetware". Mas quem iniciou a convenção e por quê?

Como você deve ter adivinhado, a resposta simples é: é uma piada interna, com pesquisadores nomeando modelos de IA com base em Muppets porque outros pesquisadores denominaram modelos de IA com base em Muppets. Mas é uma piada que destaca uma característica específica da pesquisa em IA, demonstrando como os laboratórios prestam homenagem e se baseiam no trabalho uns dos outros.

A tendência começou com o ELMo, um modelo criado pelo Instituto Allen e publicado online pela primeira vez em outubro de 2017. Como é comum no caso de pesquisas que abrem novos caminhos, a equipe por trás do trabalho queria criar uma sigla rápida para o modelo deles. O principal autor do artigo, Matt Peters, disse a The Verge por e-mail que eles debateram idéias sobre o Slack.

"Tínhamos uma lista de letras utilizáveis ​​em um acrônimo", diz Peters. “Modelo de linguagem, contexto, incorporação, etc.” Foi um engenheiro chamado Joel Grus que criou o “ELMo” para representar “Incorporação de modelos de linguagem”, diz ele, e o nome “instantaneamente preso”.

"Gostei porque é um tanto extravagante, mas memorável", diz Peters. “Meu filho mais velho tinha cerca de três anos na época e também era minha maneira de dedicar o trabalho a ele.”

O ELMo poderia ter sido único, não fosse o BERT – um modelo de linguagem criado pela equipe de IA do Google em 2018. Esse modelo provou ser poderoso e influente, e levou várias idéias novas sobre geração de idiomas para o AI mainstream.

O próprio BERT representa oficialmente Representações de Codificadores Bidirecionais dos Transformers, e embora o Google tenha recusado vários pedidos de The Verge para discutir as origens do nome, é amplamente assumido que os pesquisadores, como os de Allen, tinham os Muppets em mente. Na postagem do blog do Google sobre o assunto, a empresa diz que "o BERT baseia-se em trabalhos recentes em representações contextuais de pré-treinamento – incluindo … ELMo".

O BERT obteve resultados de última geração em vários testes e teve tanto sucesso que o Google recentemente o incorporou ao seu mecanismo de pesquisa . Depois que o modelo foi lançado, as comportas do Muppetware se abriram e logo foram seguidos por muitos algoritmos inteligentes, com siglas de força bruta, incluindo ERNIE (Representação aprimorada por meio da integração do conhecimento), KERMIT (Kontextuell Encoder Representations Made by Insertion Transformations) e Big BIRD (grandes representações de inserção bidirecional para documentos).

  


    
      
      
        

    
  

  
    
      
        
A Muppetware está tendo um grande impacto: o Google incorporou o BERT em seu mecanismo de pesquisa para melhorar a compreensão da linguagem.
Crédito: Google
      
    

  

Mas a tendência é mais do que apenas uma piada. Como explica Oren Etzioni, CEO do Allen Institute, também é uma maneira séria de reconhecer "dívida intelectual" dentro do mundo da IA. “O ELMo foi nomeado assim como um capricho, mas o BERT baseia-se diretamente nas idéias do ELMo; Grover utiliza BERT, etc. ”, disse Etzioni ao The Verge por e-mail. "Enfatizar o crédito devido ao ELMo é muito importante para nós … O Snuffaluffagus não pode estar muito atrás!"

Mitchell Stern, um estudante de doutorado em Berkeley que ajudou a criar o KERMIT e o Big BIRD, disse que a convenção de nomes era principalmente divertida, mas também tinha um "aspecto de marca".

“Dado o quão difundida essa tendência se tornou, as pessoas que trabalham nesta área reconhecem naturalmente novos trabalhos contendo um nome temático [SesameStreet ]”, disse Stern por The Verge por e-mail. E embora nem todo modelo de linguagem de IA que use essas novas técnicas seja com o nome de um Muppet (os sistemas GPT-2 bem explorados do OpenAI são exatamente uma exceção), é uma coisa bastante certa que, se você vir um modelo de Muppetware você sabe o que abordagens está usando.

Tudo isso, por sua vez, nos ajuda a entender como o mundo da IA ​​depende da abertura e da colaboração para gerar e refinar idéias. A IA não é uma disciplina em que cientistas solitários trabalham intensamente no laboratório durante a noite, bombeando eletricidade através de processadores e gargalhando "É tudo" em uma linha de comando brilhante. (Isenção de responsabilidade: isso certamente acontece, mas nem sempre é a abordagem mais produtiva.) Em vez disso, os avanços tendem a ser iterativos e colaborativos, com grupos de pesquisadores aproveitando o trabalho e as idéias uns dos outros.

E, embora seja possível que a piada dos Muppetware se esgote muito em breve, até que isso aconteça, é uma tradição adequada. Afinal, colaboração e respeito são exatamente o tipo de características das quais os personagens de Sesame Street se orgulham.



Source link



Os comentários estão desativados.