Como o estúdio de cinema Laika e Intel estão revolucionando a animação stop-motion com IA

O aclamado estúdio por trás de ‘Missing Link’ e ‘Coraline’ está colaborando com a Intel para criar uma ferramenta de IA que poderia ser um grande salto na animação stop-motion.

Como o estúdio de cinema Laika e Intel estão revolucionando a animação stop-motion com IA

Nos últimos 15 anos, o estúdio de produção de filmes Laika foi um pioneiro em animação ao combinar perfeitamente a arte tática do stop-motion com os avanços tecnológicos, incluindo CGI e impressão 3D.



Agora, o estúdio com sede em Oregon está na vanguarda de outro salto ao incorporar IA na produção de seus filmes.

Durante a produção de seu filme indicado ao Oscar Link perdido , as equipes de tecnologia e efeitos visuais desenvolveram um protótipo de uma ferramenta de IA em colaboração com a Intel.



O problema a resolver: linhas.



Os fantoches usados ​​nos filmes de Laika têm uma ampla gama de expressões faciais criadas em massa por impressão 3D. Em Link perdido sozinho, mais de 106.000 faces foram impressas em peças (ou seja, partes inferior e superior de uma face). É um processo útil para controlar como o rosto de um personagem se move, mas também cria uma costura visível que mostra onde as várias peças inferiores e superiores se conectam.

Foi um grande desafio, porque quando você vai ao cinema e está assistindo às performances dos personagens, você está olhando para os rostos dos personagens, diz Steve Emerson, supervisor de efeitos visuais da Laika. Você está olhando nos olhos deles, e é exatamente onde faríamos este trabalho cosmético.

Emerson se juntou à Laika há 12 anos para a produção de Coraline , e naquele filme e, desde então, sua equipe tem contado com o próprio processo manual do RotoPainting.



[Foto: cortesia de Laika]

Muito parecido com o Photoshop, o RotoPainting envolve o isolamento e a remoção de itens indesejados de uma cena, como marionetes ou linhas de costura. Embora eficaz, também consome muito tempo.

Queremos tentar dar aos animadores a maior margem de manobra para criar uma performance natural no palco, diz Jeff Stringer, diretor de tecnologia de produção da Laika. Isso significa que temos que usar muitas plataformas. A impressão 3D dos rostos tinha tudo a ver com dar a eles um desempenho natural que você não poderia fazer com o rosto mecânico. Assim, com quase todas essas inovações em nossa produção, há um custo para a equipe Roto.



Em Link perdido , por exemplo, havia 136.800 quadros no filme. Com o RotoPainting manual, demoraria um dia para limpar cerca de 50 quadros.

Você tem muitas ferramentas excelentes para rastrear partes do quadro e pintar as coisas, mas ainda é quadro a quadro, diz Stringer. Portanto, é uma das coisas que estava implorando por aceleração.

Com Laika e o protótipo de IA da Intel, eles conseguiram derrubar isso em 50%.

O teste inicial foi feito no Link perdido personagem de Lionel (Hugh Jackman) e teve uma taxa de sucesso bastante sólida: das 50 fotos que processaram para remover linhas de costura, 35 voltaram que eram utilizáveis ​​ou apenas precisaram de pequenos retoques. Embora o conjunto de ferramentas de IA não tenha sido usado na versão final do filme, Stringer diz que eles continuam testando em diferentes personagens para construir um conjunto de dados robusto para aprendizado de máquina na esperança de utilizá-lo no próximo filme do estúdio.

Eles também estão explorando os casos de uso mais amplos de IA em RotoPainting para remover mais do que linhas de costura (por exemplo, plataformas de marionetes).

Se isso for bem-sucedido, provavelmente acabaremos com um cientista de dados na equipe que está trabalhando com os primeiros conjuntos de dados de todos os personagens - e construindo esses modelos de treinamento, diz Stringer.

Embora seja inovador e economize tempo, o uso de IA em filmes em stop-motion pode irritar os puristas dessa forma de arte. Laika conhece bem o uso de tecnologia, mas seus avanços em IA estão afastando-os ainda mais da arte específica do stop-motion?

Para Emerson, tudo se resume ao que melhor serve à história.

[Foto: cortesia de Laika]

Vou dar um exemplo, uma explosão com um monte de fumaça, diz ele. Você quer animar a fumaça um quadro de cada vez, você vai ter que sair e conseguir algum tipo de material como bolas de algodão. Se você é um membro do público que está assistindo a um filme e há uma explosão e é um monte de bolas de algodão, vai ficar muito legal. E é divertido. Acredite em mim, adoro esse tipo de filme. Mas haverá uma fração de segundo em que isso vai tirar você disso. E você vai reconhecer que não é fumaça - são bolas de algodão.

Emerson enfatiza que os animadores tentam fazer o máximo possível na câmera com equipamentos e cenários. Mas eles não têm medo de buscar soluções digitais se necessário, incluindo IA. O objetivo final de algo como seu protótipo para acelerar o RotoPainting é gastar menos tempo nas minúcias da produção e mais tempo tentando descobrir a melhor forma de apresentar uma história.

Existem dois tipos de trabalho que fazemos aqui em efeitos visuais: há o trabalho objetivo e há o trabalho subjetivo. O objetivo do trabalho é que haja algum tipo de equipamento maluco no quadro que precisa ser removido. Há uma linha que atravessa o rosto da marionete que precisa ser removida, diz Emerson. O lado subjetivo disso é: a moldura é bonita? É emocionante? É diferente de tudo que eu já vi antes? Portanto, muito do que estamos perseguindo aqui é a capacidade de ir além do objetivo. Esperançosamente, podemos aproveitar a IA e o aprendizado de máquina para nos ajudar, e então podemos nos concentrar mais no subjetivo e realmente tentar fazer com que essas imagens pareçam diferentes de tudo que alguém já viu antes com os filmes de stop-motion.