Pesquisadores da Adobe demonstram o progresso da IA VideoGigaGAN para aprimorar vídeos de baixa qualidade, mantendo o alto nível de detalhes

Os pesquisadores da Adobe demonstraram o progresso atual de sua IA VideoGigaGAN para aprimorar vídeos de baixa qualidade. Quando estiver totalmente desenvolvida, a IA poderá gerar vídeos de alta qualidade sem recorrer a refilmagens caras. A Adobe aprimora os trabalhos anteriores reduzindo artefatos e cintilação e mantendo os detalhes finos nos vídeos processados.

A tecnologia de upscaling e super-resolução de imagens tem sido usada há muitos anos para melhorar a qualidade e a resolução de imagens de baixa qualidade. Algumas câmeras Sony Cybershot usam a tecnologia de super-resolução By Pixel https://www.sony-asia.com/microsite/assets/cyber-shot/2011h2/clear-image-zoom/ para aprimorar imagens de baixa resolução usando um banco de dados de dados de imagens de referência, mas é limitada por informações discretas de pixels para aprimorar as imagens em duas a três vezes o tamanho original. Mais recentemente, Generative Adversarial Networks (GANs) (GANs) treinadas em bilhões de imagens podem aumentar o tamanho das imagens em 8x ou mais.

A aplicação dessas técnicas a vídeos é um desafio devido à introdução de aliasing e gagueira. A suavização dos detalhes da imagem pode eliminar esses problemas com a contrapartida de uma qualidade inferior. O VideoGigaGAN usa várias técnicas para contornar essas limitações, incluindo rastreamento de movimento de objetos, desfoque de imagem e aprendizado e repintura de detalhes. Ainda assim, a IA não aprimora bem textos pequenos ou clipes de vídeo longos, portanto, são necessárias mais pesquisas. Enquanto isso, os leitores podem capturar vídeos de alta qualidade com uma DSLR de primeira linha(como esta da Amazon) para evitar o upscaling desnecessário.

Detalhes técnicos

Para manter o fluxo de vídeo suave entre os quadros ao longo do tempo, um módulo de IA de propagação guiada por fluxo é adicionado antes do GAN principal. Ele "aprende" o movimento dos objetos ao longo do tempo na entrada original, de modo que o mesmo movimento suave seja aplicado no vídeo com upscaling. Além disso, as camadas de upsampling no GAN incorporam camadas de atenção temporal que ajudam a manter as transições de quadros suaves.

Para lidar com o aliasing, os quadros são enviados por meio de um bloco anti-aliasing no meio do GAN, o que, infelizmente, reduz a qualidade da imagem devido ao desfoque de detalhes. Isso resulta em um vídeo com upscaled com movimento suave, sem aliasing, mas com detalhes de imagem suaves. O VideoGigaGAN contorna esse problema introduzindo um vaivém de alta frequência que extrai detalhes finos das camadas iniciais de redução de amostragem do GAN e os aplica posteriormente às camadas de alta amostragem. O resultado de várias camadas de processamento de imagem é um vídeo de super-resolução que contém alto nível de detalhes sem aliasing ou tremulação.