Tecnologia
Lumiere é a nova inteligência artificial do Google para vídeos realistas; assista
Tecnologia promete criar vídeos com movimentos precisos, a partir de comandos por texto
O Google anunciou na quinta-feira (25) mais um modelo de inteligência artificial (IA). Batizado de Lumiere, esta tecnologia permite a criação de vídeos realistas a partir de comandos de texto.
Segundo proposta dos pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv, que criaram a IA, é de gerar vídeos com movimentos coesos e precisos, deixando as imagens mais próximas do natural.
O artigo da equipe, que foi publicada na Cornell University define o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”.
Esta inteligência artificial promete criar vídeos com uma taxa de quadros estável, até mesmo em baixa resolução. Ou seja, consegue criar vídeos mais definidos com movimentos fluidos e mais limpos, como uma imagem gravada de uma câmera.
A IA usa uma estrutura chamada Space-Time U-Net, que gera toda a duração do vídeo de uma só vez. Os concorrentes sintetizam os frames distintamente.
Se animou com o Lumiere? Calma…
Ainda a ferramenta não está disponível ao público e não há previsão de quando seria lançada esta IA.
A Google já tinha apresentado no final de 2023 o VideoPoet, que tem ferramentas similares ao atual Lumiere.
A ferramenta entende padrões e, a partir deles, pode criar imagens e vídeos com a mesma identidade visual.
2/ Texto para vídeo pic.twitter.com/2eHyUGjICX
— Carlos| IA Negociòs (@HumildeAutor) January 25, 2024
Para isso, basta enviar uma imagem de referência, que a IA entende seu formato e cria novos vídeos com a mesma base e estética.
Por exemplo, a partir de um cogumelo azul fluorescente, você pode criar um urso dançante com as cores do cogumelo.
3/ Geração estilizada pic.twitter.com/sBvA64RbS5
— Carlos| IA Negociòs (@HumildeAutor) January 25, 2024
A ideia é que o usuário crie um vídeo de até 5 segundos em pouco tempo. O Lumiere faz animação de cinemagrafia, técnica de animação de apenas uma parte da imagem, enquanto o restante da cena segue estático.
Além disso, o novo modelo de IA recorre à técnica para criar movimento ou substituir uma parte de um vídeo por outra.
5/ Cinemagrafias pic.twitter.com/6jjqnHpkAz
— Carlos| IA Negociòs (@HumildeAutor) January 25, 2024
Será possível também trocar a roupa da pessoa que aparece na imagem usando comandos ou prompts de texto e isso pode ser usado para fazer novas imagens preservando o plano de fundo.
6/ Pintura de vídeo pic.twitter.com/Px1twVw9yF
— Carlos| IA Negociòs (@HumildeAutor) January 25, 2024
O Google não expôs quais foram os bancos de dados utilizados para treinar a nova ferramenta, no entanto diz que a IA tem acesso a uma série de 30 milhões de vídeos, com 80 quadros, rodando a 16 frames por segundo (FPS), ou seja, com duração de 5 segundos. A proporção dos vídeos gerados é de 1:1, com 1024 x 1024 pixels.
A empresa ainda enfrenta algumas limitações com o Lumiere, como a geração de vídeos em baixa qualidade e a geração de clipes com várias “cenas” ou que envolvam transições entre as tomadas.
Confira outras demonstrações de vídeos com o Lumiere
Urso tocando um ukulele (espécie de banjo):
-
Entretenimento1 semana atrás
Whindersson Nunes debocha de postagem de Janja sobre cavalo
-
Política3 dias atrás
Eduardo Leite é criticado por dizer que ‘grande volume de doações’ vai prejudicar o comércio do RS; veja o vídeo
-
Entretenimento1 semana atrás
Jornalista do SBT chora ao sofrer ataques por desmentir Globo
-
Entretenimento1 semana atrás
Deltan desmascara Daniela Lima da Rede Globo e apresenta vídeo revelador
-
Entretenimento1 semana atrás
Repórter da Jovem Pan pede para Daniela Lima sair do celular
-
Entretenimento1 semana atrás
Scooby relata problemas de saúde causados pela água das enchentes
-
Entretenimento5 dias atrás
Após ser alvo de críticas em Porto Alegre, William Bonner toma atitude e decide se isolar em navio; veja vídeo
-
Entretenimento1 semana atrás
José de Abreu ‘parte para cima’ de Jojo Todynho e xinga cantora