Masquerade 2.0, es la última iteración del sistema interno de captura facial de Digital Domain. La versión 2.0 ha sido reconstruida desde cero para llevar aspectos de calidad de largometraje a aplicaciones nuevas y a menudo en tiempo real, como juegos de próxima generación, episodios de televisión, producción virtual y anuncios. En esencia, Masquerade es el mismo Digital Domain tecnológico utilizado para crear Thanos en Avengers: Infinity War, pero ahora mejorado para usar el aprendizaje automático y las caras de proceso en entornos de producción mucho más rápidos.
A diferencia de los métodos que tardan más de un año en completarse, Masquerade 2.0 puede ofrecer un carácter 3D fotorrealista y docenas de horas de rendimiento en pocos meses. Usando el aprendizaje automático, Masquerade ha sido entrenado para capturar con precisión detalles expresivos, hasta las arrugas en la cara de un actor, sin limitar su movimiento en el set. Esta libertad ha ayudado a Digital Domain a llevar personajes emotivos a una serie de proyectos de alta gama, incluyendo una reciente recreación de portada de la revista Time del Dr. Martin Luther King Jr.
Masquerade 2.0 impulsa uno de los sistemas de captura facial de mayor calidad del mundo. El sistema fue desarrollado a lo largo de dos años por el software principal de Digital Domain, Lucio Moser con la ayuda del ingeniero de software Dimitry Kachkovski. Masquerade 2.0 ahora apunta a movimientos faciales minúsculos, incluyendo formas de labios más precisas y movimientos sutiles alrededor de los ojos que la versión 1.0. Con estos nuevos datos, Digital Domain puede ofrecer actuaciones más emotivas a sus proyectos, aportando las complejidades de la dinámica facial humana a sus personajes digitales.
Masquerade 2.0 es lo suficientemente potente para un largometraje, pero lo suficientemente accesible para juegos y otras aplicaciones de personajes digitales, superando las limitaciones que solían contenernos a través de nuevas optimizaciones, Masquerade puede ofrecer una versión uno a uno de la actuación de un actor sin que sepamos que no es un actor, lo que nos permite mantener muchos detalles que solíamos tener que desechar. Esto ha revolucionado completamente el proceso de entrega, lo que nos permite dar la vuelta a los activos más rápido que nadie. En el pasado, 50 horas de metraje significaban 600.000 horas de tiempo de artista. Hoy en día, Masquerade reduce eso en un 95 por ciento.
Además del tiempo, el nuevo sistema Masquerade sigue siendo un sistema basado en marcadores, pero es un sistema mucho más preciso. El otro problema importante es cómo el equipo realiza un seguimiento de los marcadores. En esa primera película de Avengers, estábamos usando Masquerade con rastreadores de marcadores, pero todos los marcadores faciales estaban siendo rastreados manual o semi-manualmente, señala Hendler. Por lo tanto, hay una gran cantidad de trabajo involucrado en eso. Con la nueva Mascarada 2.0, realmente vimos cómo podíamos obtener una representación mucho más precisa de la cara del actor, y cómo podríamos automatizar casi completamente todo el proceso. Masquerade 2.0, nació realmente de la próxima generación de proyectos en Digital Domain.
Actualmente están haciendo una gran cantidad de producción de juegos específicos. Un proyecto está haciendo entre 30 y 50 horas de captura facial articulada. Eso es simplemente inimaginable con nuestro sistema anterior, y eso es casi todos datos que nadie está tocando, añade Hendler. Bajo el sistema antiguo, esto sería demasiados datos de rendimiento para administrar y mantenerse en el calendario, ya que sucede que su proceso está casi totalmente automatizado, con sólo en algún lugar entre el 2 por ciento y 5 por ciento de las tomas que regresan para algunos moderados, o pequeñas cantidades de modificación de clientes potenciales.
Más información sobre este revolucionario sistema en la web de Digital Domain.
Un video demostrativo.
