VFX con inteligencia artificial y aprendizaje automático. Aunque la siguiente explicación sobre las distintas técnicas se pueden aplicar a cualquier personaje. En este caso nos basamos en un artículo publicado por Digital Domain donde aplican la técnica a Thanos.
Hacer estas pruebas con personajes no reales, no debe quitar importancia a la técnica, pero sí debemos tener claro que no es lo mismo recrear los gestos de un personaje ficticio, que los de un personaje real.
La solución de seguimiento basada en inteligencia artificial se utiliza para resolver el movimiento de coincidencias de la cámara y el seguimiento de objetos de una persona u objeto.
Distintas técnicas para distintas situaciones
Si hay una frase que suena en los últimos tiempos en el mundo de los efectos visuales, es aprendizaje automático. De hecho, hay tres: aprendizaje automático, aprendizaje profundo e inteligencia artificial (IA).
Cada frase tiende a utilizarse indistintamente para referirse a la nueva técnica de soluciones de software inteligentes en VFX, gráficos por ordenador y animación basada en las técnicas de inteligencia virtual.
La investigación en la máquina y el aprendizaje profundo está ayudando a introducir tanto la automatización como los resultados más físicos en gráficos por ordenador. Principalmente en áreas como el seguimiento de cámaras, simulaciones, renderizado, captura de movimiento, animación de personajes, procesado de imágenes, rotoscopia y composición.
El personaje virtual de Thanos de Avengers: Infinity War. Digital Domain se basó en técnicas de aprendizaje automático para ayudar a dar vida al personaje.
¿Qué es el aprendizaje profundo?
Una autoridad en el tema es Hao Li, investigador y ceo de Pinscreen, que está desarrollando avatares 3D instantáneos a través de aplicaciones móviles con la ayuda de técnicas de aprendizaje automático.
Describe el aprendizaje profundo o automático como el uso de marcos computacionales que se basan en redes neuronales artificiales. Estas pueden ser entrenados para realizar tareas altamente complejas cuando existen muchos datos de entrenamiento.
Las redes neuronales existen desde hace algún tiempo, pero hace poco de las redes neuronales profundas. Estas tienen múltiples capas que se pueden entrenar eficientemente por GPU y en cantidades masivas de datos.
Resulta que las técnicas basadas en el aprendizaje profundo superan a otras técnicas, en la mayoría de los métodos clásicos de visión por ordenador esta técnica supera problemas fundamentales relacionados con el reconocimiento de patrones, como el reconocimiento de objetos, la segmentación y otras tareas de inferencia.
Alternativas en la animación facial 3D
Dado que muchos desafíos relacionados con los gráficos están directamente relacionados con la visión, como:
- La captura de movimiento.
- La animación facial 3D basada en el rendimiento.
- El escaneo 3D.
- Y otros.
Se ha vuelto obvio que muchas técnicas existentes se beneficiarían inmediatamente de técnicas basadas en el aprendizaje profundo. Una vez que se puedan obtener suficientes datos de entrenamiento.
Más recientemente, los investigadores han ideado nuevas formas de arquitecturas de redes neuronales profundas. Donde las imágenes creíbles de una escena real se pueden generar directamente a partir de alguna entrada del usuario o incluso de entorno aleatorio.
Ejemplos populares para estos modelos generativos profundos incluyen redes adversarias generativas (GAN) y autoencoders de variación (VAE).
Aprendizaje automático en escenas de acción
Volvamos unas líneas más arriba, y retomemos el ejemplo de Thanos, uno de los que mejor pueden explicar la técnica de aprendizaje automático, además de uno con los mejores resultados hasta la fecha.
En la película de Los Vengadores, Thanos utiliza el aprendizaje automático para transformar la cara del actor Josh Brolin capturada con cámaras de cabeza y tildado con marcadores de seguimiento facial en el personaje principal de la película. Esto implicó aprovechar los datos de entrenamiento de captura facial.
Darren Hendler, jefe a la hora de crear humanos digitales en Digital Domain, afirma que ya sabían como construir un sistema que cogiera datos de captura de movimiento y produjera un resultado creíble con aprendizaje automático.
Pero en la película, con este personaje, utilizaron un sistema de captura facial completamente nuevo. Pueden coger una sola imagen y en tiempo real recrear una versión de alta resolución de cualquier actor con una calidad similar al resultado obtenido en la película.
Cómo funciona esto a veces parece pura magia, pero como todo aprendizaje automático, puede ser muy temperamental e impredecible. Lo que hace que el hallazgo de la solución sea particularmente gratificante.
Deep Fake y avatares 3D fotorrealistas
La técnica Deep Fake no deja de ser una técnica utilizada para el engaño a la vista, llegado este punto, nos podemos preguntar qué efecto visual no está pensado para engañar a la vista, tendríamos razón, pero hay casos y casos.
Una cosa es utilizar estas técnicas para crear contenido de entretenimiento y otras con motivo de engaño utilizando personajes famosos sin consentimiento.
En Pinscreen, uno de los objetivos de la compañía ha sido generar avatares 3D fotorrealistas y animables con detalles faciales y capilares precisos. Creados a partir de imágenes de teléfonos móviles individuales de los usuarios.
Han estado confiando en enfoques de aprendizaje profundo para hacerlo posible, basados en extensos datos de preparación supervisados. Los datos, junto con las redes neuronales profundas, se utilizan para ayudar a predecir los resultados correctos de cómo debería ser un avatar 3D. Por ejemplo, para averiguar qué expresión facial que debe mostrarse.
Los resultados de Pinscreen a veces se comparan con videos de intercambio de rostros, una técnica denominada Deep Fake. Esta técnica que ha ganado popularidad mediante el uso de técnicas de aprendizaje profundo para re-animar la cara de una persona famosa. El propósito es hacer que diga cosas que en realidad nunca han dicho, o aparecer donde en realidad nunca han estado.
Más información y comentarios en el foro, sigue leyendo…