Cómo se hizo el tráiler de Xbox Series X. Colin Urquhart, cofundador y CEO de DI4D, ha compartido el proceso creativo del tráiler para Xbox Series X/S Power Your Dream. Remarcando la importancia de las tecnologías sobre captura facial.
Colin Urquhart, cofundador y CEO de DI4D, especializados en captura facial de alta fidelidad. DI4D fue fundada hace casi 20 años en Glasgow, Reino Unido, por Colin Urquhart y Douglas Green, y desde entonces, su tecnología se ha utilizado en una amplia gama de películas de gran éxito, videojuegos y con fines de investigación. Ahora también ofrecen sus servicios en Los Ángeles, que es donde está Colin Urquhart.
Han sido parte de algunos proyectos increíbles recientemente. En particular, la tecnología de captura facial de DI4D se utilizó en la producción de la película recién lanzada Venom: Let There Be Carnage, así como en el videojuego F1 2021 de Codemaster. Trabajando con REALTIME, tuvieron la oportunidad de usar su nueva canalización PURE4D en F1 2021; impulsando la animación de múltiples dobles digitales.
El proyecto Xbox
Ya habían trabajado con MPC en proyectos anteriores como Blade Runner 2049 y el tráiler oficial de The Last of Us Part II. Por lo que el equipo estaba familiarizado con esta tecnología. Querían datos de captura facial con la mayor fidelidad posible para crear un doble digital preciso de Daniel Kaluuya y eligieron aportar para el tráiler de Xbox Series X/S Power Your Dreams.
Los datos debían ser fieles a la semejanza y el rendimiento de Daniel para impulsar un resultado final convincente. Por lo que el objetivo era capturar datos de alta calidad y luego procesarlos de manera eficiente. Siempre estamos apuntando a la semejanza fotorrealista.
Rendimiento facial
Daniel Kaluuya fue capturado con dos sistemas, el sistema DI4D PRO sentado, que captura los datos de mayor fidelidad; y un sistema de cámara estéreo montado en la cabeza utilizado para capturar el rendimiento final. El DI4D PRO proporcionó datos a MPC para construir una plataforma de animación de personajes, con los datos de rendimiento utilizados para impulsar la animación facial final.
La ventaja de combinar datos tanto del sistema PRO como de una cámara montada en el cabezal de fotogrametría estéreo es una mayor fidelidad. Si bien el sistema PRO puede proporcionar una calidad de rendimiento facial increíble, requiere que un actor esté sentado y, por lo tanto, estacionario. Una cámara montada en la cabeza no puede replicar el mismo nivel de calidad por sí sola, pero permite al actor actuar libre y naturalmente en un espacio, haciendo que los datos sean más fieles a una actuación real. ¡Combinados, estos dos conjuntos de datos pueden crear resultados increíbles!
El proceso de captura de expresiones faciales
Capturar expresiones faciales con el sistema PRO es realmente fácil. Debido a que es captura de video, podemos rastrear múltiples expresiones en una toma muy corta. El sistema PRO en sí comprende nueve cámaras de visión artificial sincronizadas de 12 megapíxeles y utiliza iluminación de video estándar sin la necesidad de marcadores; maquillaje o proyección de luz estructurada. Esto significa que los actores no necesitan ninguna preparación, ¡es tan simple como sentarse y actuar! También mostramos a los actores un video de referencia de las expresiones faciales a seguir.
El sistema PRO requiere que el actor permanezca en una sola posición física durante la captura. Esto funciona perfectamente cuando se capturan expresiones faciales y para capturar el rendimiento en escenas menos dinámicas. Por ejemplo, utilizamos el sistema PRO para capturar el rendimiento facial de Ian Hanmore para el cortometraje CG, Home.
Preparación de los datos capturados para Xbox Series X
DI4D utiliza su propia línea de procesamiento patentada que es el resultado de casi veinte años de investigación y desarrollo avanzados. Si bien no creamos ninguna tecnología particularmente nueva para este proyecto para MPC; estamos constantemente refinando nuestro flujo de trabajo interno y adaptándolo a los requisitos individuales del proyecto.
Nuestra canalización comienza utilizando nuestra tecnología patentada de fotogrametría estéreo para reconstruir un escaneo 3D por fotograma a partir de los datos de video sincronizados capturados con el sistema DI4D PRO. Por lo general, el cliente también nos proporciona una malla 3D retopologizada y de alta resolución del actor.
Escaneamos a través de los datos de DI4D PRO para encontrar un fotograma en el que la expresión del actor coincida lo más fielmente posible con su expresión en el escaneo estático. A continuación, transferimos precisamente la topología de la malla de escaneo retopologizada a través de ese marco específico de datos 4D. Finalmente, rastreamos esta malla con mucha precisión a través del resto de los datos de la secuencia 4D.
Nuestra capacidad para rastrear con precisión todos los vértices en la superficie 3D de la cara a medida que se deforma con cada expresión dinámica es lo que hace que nuestra solución sea tan única.
Hacer que los ojos se vean reales en Xbox Series X
A menudo, los ojos en la animación no se rastrean exactamente, esto es algo que hemos comenzado a desarrollar nosotros mismos, pero no fue algo que proporcionamos para MPC. Los modelos CG para los ojos generalmente se construyen por separado y se animan más tarde. Esto se debe principalmente a la practicidad.
El seguimiento ocular es necesario cuando el movimiento ocular en la actuación es preciso, como cuando dos actores se miran en una escena. Pero a menudo, los animadores querrán redirigir la mirada debido a otras secuencias animadas que tienen lugar en el entorno que no estuvo presente durante la sesión de captura de rendimiento facial.
Sin embargo, una de las cosas técnicamente más desafiantes que proporcionamos es el seguimiento de los párpados; asegurándonos de que rastreen a través del globo ocular. Aquí es donde se requiere la mayor limpieza porque las pestañas pueden bloquear el seguimiento. También es fácil que el globo ocular penetre en los párpados durante el seguimiento, lo que no se ve muy bien. Dedicamos mucho enfoque a garantizar que los párpados sean precisos.
Desarrollo de tecnologías de captura facial en Xbox Series X
Al igual que con muchas áreas de producción, la animación facial se ha desarrollado a un ritmo rápido, con una innovación continua en los últimos años. Gran parte de esto ha sido impulsado por la evolución de la tecnología del usuario final. Las últimas consolas de juegos y motores, por ejemplo, pueden mostrar una animación facial más detallada que nunca. Con nuestro recientemente lanzado PURE4D, los estudios de juegos ahora pueden ofrecer animación facial de alta fidelidad a escala; recreando fielmente las actuaciones de los actores en el motor.
En los próximos años, la captura facial puede democratizarse más; ya hemos visto teléfonos inteligentes utilizados rutinariamente en algunas tuberías. Sin embargo, el desafío de ofrecer un rendimiento de personaje creíble, matizado y realista sigue siendo un listón alto. Eso es algo que probablemente requiera un conocimiento y experiencia más profundos en el espacio por el momento.
Este artículo fue publicado originalmente en 80 Level en inglés por Colin Urquhart, cofundador y CEO de DI4D. En una entrevista realizada por Arti Sergeev.
Dejo el video con el desglose de algunas escenas esclarecedoras del anuncio que podemos ver. También tienes más información y comentarios sobre la producción que rodea la Xbox Series X en el foro, sigue leyendo…