A Meta apresenta o Movie Gen AI para criar vídeos e músicas usando instruções de texto para ajudar os cineastas a economizar tempo e dinheiro

A Meta apresentou o Movie Gen, uma IA capaz de criar e editar vídeos com música e efeitos sonoros usando comandos de texto. A IA é de última geração em seus recursos de geração de vídeo e áudio, com recursos e realismo que nenhuma outra IA pode igualar.

O Movie Gen é um modelo de IA com 30 bilhões de parâmetros capaz de gerar clipes HD de 16 segundos a partir de instruções de texto. A IA foi pré-treinada em um bilhão de imagens e 100 milhões de vídeos. Os vídeos foram selecionados de uma coleção muito maior em termos de qualidade para aprimorar o treinamento. O Movie Gen Audio é um modelo de IA de 13 bilhões de parâmetros capaz de gerar efeitos sonoros e músicas de 48 kHz a partir de instruções de texto. A IA foi pré-treinada em um milhão de horas de áudio. O feedback humano e exemplos de áudio e vídeo de alta qualidade foram usados para ajustar a IA.

Com a fotografia de uma pessoa e a descrição dessa pessoa em uma cena, a IA pode gerar um vídeo realista de um ator e uma cena animados. A IA foi treinada em 22 tipos de movimento e posição de câmera, como grande angular, inclinação para cima e caminhão para a esquerda, permitindo que os cineastas especifiquem o posicionamento e os movimentos da câmera virtual como em uma filmagem real. Os cineastas que insistem em fazer filmes com atores e cenários reais podem usar uma DSLR de primeira linha , como a mais recente Nikon Z6III da Amazon. De forma exclusiva, o Movie Gen tem a capacidade de editar vídeos de forma precisa e realista. Atualmente, outras IA não conseguem criar edições tão boas quanto o Movie Gen Edit.

Os prompts de texto também podem adicionar áudio com som profissional aos clipes, inclusive efeitos sonoros e partituras. A IA pode criar músicas com vários minutos de duração, mas está limitada a clipes de vídeo de 16 segundos devido aos enormes recursos de computador que isso exige. O áudio segue as batidas em uma cena e pode gerar sons fora da tela, como o chilrear de pássaros em uma floresta, com base no contexto da cena.

A Meta está trabalhando para adicionar proteções ao Movie Gen e lançará a IA assim que se sentir confiante em sua segurança.