Conecte-se conosco

Tecnologia

Lumiere é a nova inteligência artificial do Google para vídeos realistas; assista


Tecnologia promete criar vídeos com movimentos precisos, a partir de comandos por texto

Publicado

3 meses atrás

em


O Google anunciou na quinta-feira (25) mais um modelo de inteligência artificial (IA). Batizado de Lumiere, esta tecnologia permite a criação de vídeos realistas a partir de comandos de texto.

Segundo proposta dos pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv, que criaram a IA, é de gerar vídeos com movimentos coesos e precisos, deixando as imagens mais próximas do natural.

O artigo da equipe, que foi publicada na Cornell University define o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”.

Esta inteligência artificial promete criar vídeos com uma taxa de quadros estável, até mesmo em baixa resolução. Ou seja, consegue criar vídeos mais definidos com movimentos fluidos e mais limpos, como uma imagem gravada de uma câmera.

A IA usa uma estrutura chamada Space-Time U-Net, que gera toda a duração do vídeo de uma só vez. Os concorrentes sintetizam os frames distintamente.

Se animou com o Lumiere? Calma…

Ainda a ferramenta não está disponível ao público e não há previsão de quando seria lançada esta IA.

A Google já tinha apresentado no final de 2023 o VideoPoet, que tem ferramentas similares ao atual Lumiere.

Artigo mostra o resultados da geração de vídeo a partir de um texto. Uma imagem gerada a partir de uma outra base para construção do vídeo | Reprodução

Artigo mostra o resultados da geração de vídeo a partir de um texto. Uma imagem gerada a partir de uma outra base para construção do vídeo | Reprodução

A ferramenta entende padrões e, a partir deles, pode criar imagens e vídeos com a mesma identidade visual.

 

Para isso, basta enviar uma imagem de referência, que a IA entende seu formato e cria novos vídeos com a mesma base e estética.

Por exemplo, a partir de um cogumelo azul fluorescente, você pode criar um urso dançante com as cores do cogumelo.

 

A ideia é que o usuário crie um vídeo de até 5 segundos em pouco tempo. O Lumiere faz animação de cinemagrafia, técnica de animação de apenas uma parte da imagem, enquanto o restante da cena segue estático.

Além disso, o novo modelo de IA recorre à técnica para criar movimento ou substituir uma parte de um vídeo por outra.

Será possível também trocar a roupa da pessoa que aparece na imagem usando comandos ou prompts de texto e isso pode ser usado para fazer novas imagens preservando o plano de fundo.


O Google não expôs quais foram os bancos de dados utilizados para treinar a nova ferramenta, no entanto diz que a IA tem acesso a uma série de 30 milhões de vídeos, com 80 quadros, rodando a 16 frames por segundo (FPS), ou seja, com duração de 5 segundos. A proporção dos vídeos gerados é de 1:1, com 1024 x 1024 pixels.

A empresa ainda enfrenta algumas limitações com o Lumiere, como a geração de vídeos em baixa qualidade e a geração de clipes com várias “cenas” ou que envolvam transições entre as tomadas.

Confira outras demonstrações de vídeos com o Lumiere
Urso tocando um ukulele (espécie de banjo):

 

 




Tópicos Relacionados:
Clique para comentar

Deixe um Comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

+ Acessadas da Semana