Pesquisadores desenvolvem robô de câmera interativo ‘Stargazer’ que pode ajudar a filmar vídeos tutoriais

Um grupo de cientistas da computação da Universidade de Toronto quer facilitar a filmagem de vídeos de instruções.

A equipe de pesquisadores desenvolveu o Stargazer, um robô de câmera interativa que ajuda instrutores universitários e outros criadores de conteúdo a criar vídeos tutoriais envolventes que demonstram habilidades físicas.

Para aqueles sem acesso a um operador de câmera, o Stargazer pode capturar vídeos instrutivos dinâmicos e lidar com as restrições de trabalhar com câmeras estáticas.

“O robô existe para ajudar os humanos, mas não para substituir os humanos”, explica o pesquisador principal Jiannan Li, Ph.D. candidato no departamento de ciência da computação da U of T na Faculdade de Artes e Ciências. “Os instrutores estão aqui para ensinar. O papel do robô é ajudar na filmagem – o trabalho de levantamento de peso.”

O trabalho do Stargazer é descrito em um artigo publicado na Anais da Conferência CHI 2023 sobre Fatores Humanos em Sistemas de Computação. A conferência internacional sobre interação humano-computador foi realizada em Hamburgo, Alemanha, de 23 a 28 de abril.

Os co-autores de Li incluem colegas membros do laboratório Dynamic Graphics Project (dgp) da U of T: pesquisador de pós-doutorado Mauricio Sousa, Ph.D. alunos Karthik Mahadevan e Bryan Wang, professor Ravin Balakrishnan e professor associado Tovi Grossman; bem como o Professor Associado Anthony Tang (indicado de forma cruzada com a Faculdade de Informação); recém-formadas da Faculdade de Informação da U of T, Paula Akemi Aoyaui e Nicole Yu; e a estudante de engenharia da computação do terceiro ano, Angela Yang.

O Stargazer usa uma única câmera em um braço robótico, com sete motores independentes que podem se mover junto com o assunto do vídeo rastreando regiões de interesse de forma autônoma. Os comportamentos da câmera do sistema podem ser ajustados com base em dicas sutis dos instrutores, como movimentos corporais, gestos e fala, detectados pelos sensores do protótipo.

A voz do instrutor é gravada com um microfone sem fio e enviada para o Microsoft Azure Speech-to-Text, um software de reconhecimento de fala. O texto transcrito, juntamente com um prompt personalizado, é então enviado para o programa GPT-3, um grande modelo de linguagem que rotula a intenção do instrutor para a câmera – como padrão versus ângulo alto e normal versus enquadramento mais apertado.

Esses comandos de controle da câmera são dicas usadas naturalmente pelos instrutores para guiar a atenção do público e não atrapalham a entrega das instruções, dizem os pesquisadores.

Por exemplo, o instrutor pode fazer com que o Stargazer ajuste sua visualização para ver cada uma das ferramentas que usará durante um tutorial apontando para cada uma delas, solicitando que a câmera se mova. O instrutor também pode dizer aos espectadores: “Se você observar como eu coloco ‘A’ em ‘B’ de cima”, o Stargazer responderá enquadrando a ação com um ângulo alto para dar ao público uma visão melhor.

Ao projetar o vocabulário de interação, a equipe queria identificar sinais sutis e evitar a necessidade de o instrutor se comunicar separadamente com o robô enquanto fala com seus alunos ou público.

“O objetivo é fazer com que o robô entenda em tempo real que tipo de tiro o instrutor deseja”, diz Li. “A parte importante desse objetivo é que queremos que esses vocabulários não sejam perturbadores. Deve parecer que eles se encaixam no tutorial.”

As habilidades do Stargazer foram testadas em um estudo envolvendo seis instrutores, cada um ensinando uma habilidade distinta para criar vídeos tutoriais dinâmicos.

Usando o robô, eles foram capazes de produzir vídeos demonstrando tarefas físicas em uma ampla gama de assuntos, desde manutenção de skate até escultura interativa e configuração de fones de ouvido de realidade virtual, enquanto contavam com o robô para rastreamento de assunto, enquadramento de câmera e ângulo de câmera combinações.

Cada participante recebeu uma sessão prática e concluiu seus tutoriais em duas tomadas. Os pesquisadores relataram que todos os participantes conseguiram criar vídeos sem precisar de nenhum controle adicional além do fornecido pela câmera robótica e ficaram satisfeitos com a qualidade dos vídeos produzidos.

Embora a variedade de posições de câmera do Stargazer seja suficiente para atividades de mesa, a equipe está interessada em explorar o potencial de drones de câmera e robôs sobre rodas para ajudar nas tarefas de filmagem em ambientes maiores a partir de uma ampla variedade de ângulos.

Eles também descobriram que alguns participantes do estudo tentaram disparar fotos de objetos dando ou mostrando objetos para a câmera, que não estavam entre as pistas que o Stargazer atualmente reconhece. Pesquisas futuras podem investigar métodos para detectar intenções diversas e sutis, combinando sinais simultâneos do olhar, postura e fala de um instrutor, que Li diz ser um objetivo de longo prazo no qual a equipe está progredindo.

Embora a equipe apresente o Stargazer como uma opção para quem não tem acesso a equipes de filmagem profissionais, os pesquisadores admitem que o protótipo da câmera robótica depende de um braço robótico caro e de um conjunto de sensores externos. Li observa, no entanto, que o conceito Stargazer não é necessariamente limitado por tecnologia cara.

“Acho que existe um mercado real para equipamentos robóticos de filmagem, mesmo no nível do consumidor. A Stargazer está expandindo esse reino, mas olhando mais adiante com um pouco mais de autonomia e um pouco mais de interação. Portanto, realisticamente, poderia estar disponível para os consumidores, ” ele diz.

Li diz que a equipe está entusiasmada com as possibilidades que o Stargazer apresenta para uma maior colaboração humano-robô.

“Para que os robôs trabalhem em conjunto com os humanos, a chave é que os robôs entendam melhor os humanos. Aqui, estamos olhando para esses vocabulários, esses comportamentos de comunicação tipicamente humanos”, explica ele.

“Esperamos inspirar outras pessoas a entender como os humanos se comunicam … e como os robôs podem captar isso e ter a reação adequada, como comportamentos assistivos”.