Evaluación de MetaHuman en rostros humanos con Rig Logic

Evaluación de MetaHuman en rostros humanos con Rig Logic. Unity y Epic Games han publicado nuevos libros electrónicos para artistas de juegos. Estos buscan profundizar en el funcionamiento interno de los motores de juegos Unity y Unreal Engine, disponibles como PDF gratuitos.

Una descripción general de inicio a fin del desarrollo de juegos en 2D en Unity. First up, arte de juegos en 2D, animación e iluminación para artistas es una guía para el desarrollo de juegos en Unity, escrita por Jarek Majewski, director creativo del proyecto de muestra gratuito Dragon Crashers.

Unity lo describe como su libro electrónico más grande hasta el momento, y contiene mucha información en esas páginas, proporcionando una visión general completa de extremo a extremo de una tubería de arte de juegos.

Los temas cubiertos incluyen la configuración del proyecto; activos de roundtripping con herramientas DCC; gestión de sprites; cámaras; iluminación; rigging y animación; Shader, postproducción; y optimizar el proyecto.

Aunque gran parte de la información es específica de Unity, las secciones sobre los principios de animación e iluminación deberían transferirse a otros motores de juego; al igual que las tablas de comparación sobre los pros y los contras de los tilemaps, sprites y formas de sprites; animación esquelética y fotograma a fotograma; y FX basados en sombreadores, partículas y clips.

Evaluación de MetaHuman en rostros humanos con Rig Logic
Evaluación de MetaHuman en rostros humanos con Rig Logic

Rig Logic de MetaHuman Creator

Una inmersión más profunda en el diseño del solucionador Rig Logic de MetaHuman Creator En contraste, Rig Logic: Runtime Evaluation of MetaHuman Face Rigs de Epic Games proporciona una inmersión más profunda en una de sus nuevas herramientas más discutidas, la aplicación gratuita de creación de personajes de próxima generación MetaHuman Creator.

El documento técnico establece los principios de diseño y la arquitectura subyacente de Rig Logic, su solucionador de plataforma facial liviano y portátil, desarrollado originalmente por 3Lateral, que Epic adquirió en 2019.

Explora cómo las unidades de expresión facial FACS se traducen en articulaciones, pesos de piel y formas de mezcla en Unreal Engine en tiempo de ejecución, y la estructura del formato de archivo MetaHuman DNA de 3Lateral.

Aunque será de mayor utilidad para los artistas técnicos, la mayor parte del contenido debe ser accesible para cualquier persona interesada en cómo funcionan los MetaHuman debajo de la piel digital.

Descarga gratuita sin necesidad de introducir datos personales. El PDF es gratuito. No es necesario registrarse en un sitio web para descargar ninguno de ellos.

Evaluación de MetaHuman en rostros humanos con Rig Logic; se trata de un sistema de resolución de evaluación de plataformas faciales en tiempo de ejecución desarrollado por 3Lateral. Rig Logic es la base de infraestructura para la personalización avanzada de personajes; y los sistemas de digitalización de jugadores que ofrecen plataformas de alta calidad, y también es una herramienta de caracterización versátil.

Interfaz de usuario de Rig Logic
Interfaz de usuario de Rig Logic

Conjunto universal de reglas faciales y naturales

Rig Logic se basa en un conjunto universal de reglas para definir el sistema muscular de un rostro humano; y en un formato de archivo propietario de 3Lateral llamado MetaHuman DNA. Que está diseñado para almacenar la descripción completa de la plataforma y la geometría de un objeto 3D.

Rig Logic fue desarrollado por 3Lateral; una empresa de investigación y desarrollo que se ha centrado en la animación y el rigging facial desde su fundación en 2012. Los proyectos de la empresa incluyen numerosas películas y juegos como Senua Saga: Hellblade II y Marvel Spider-Man.

3Lateral pasó a formar parte de Epic Games en 2019. Rig Logic es el solucionador de plataformas que utiliza actualmente la herramienta MetaHuman Creator de Epic Games.

En este documento, explicaremos el razonamiento detrás del formato de archivo MetaHuman DNA y otras decisiones que tomamos al construir el sistema Rig Logic. Y por qué funciona para la representación en tiempo real de poses faciales y animación.

Terminología de la evaluación de MetaHuman en rostros humanos

Para explicar cómo evolucionó Rig Logic a una solución completa en tiempo real para el rigging facial, se deben definir algunos términos.

Expresión: una representación facial específica, como una sonrisa, el ceño fruncido o un fonema. En el rigging y la animación faciales, una expresión se define mediante un conjunto de transformaciones conjuntas (traslación, rotación o escala). Formas combinadas (también conocidas como objetivos de transformación) y mapas animados.

Articulaciones: una plataforma facial consta de huesos y articulaciones virtuales que imitan, hasta cierto punto, los huesos; las articulaciones y los músculos reales de la cara. Debido a que los músculos de la vida real son difíciles de imitar exactamente; las articulaciones virtuales funcionan en su lugar para impulsar la animación de los vértices en un modelo facial. A cada articulación se le asigna un conjunto de vértices que anima.

Curva de animación: una representación del movimiento XYZ de un vértice a lo largo del tiempo.

Expresión facial en un personaje MetaHuman
Expresión facial en un personaje MetaHuman

Evaluación de MetaHuman en rostros humanos – Terminología

Control: un mecanismo que mantiene el peso de una sola expresión básica, que se utiliza para calcular uniones; combinar formas y mapas animados que participan en la expresión. Idealmente, hay un control por Unidad de Acción FACS.

Interfaz de control del equipo: cualquier interfaz que combine controles o los haga más fáciles de usar. Esta podría ser cualquier interfaz de usuario, desde una interfaz gráfica de usuario (GUI); con controles deslizantes hasta una interfaz interna que recopila y usa controles para provocar otra acción.

Evaluación de MetaHuman en rostros humanos - Terminología

Complejidad: un término general que se refiere a la cantidad de controles de equipo que tiene un equipo facial. Se dice que un equipo con 200 controles es más complejo que uno con 50 controles.

Cuantos más controles haya, mayor potencial existe para combinaciones de expresiones que requerirán expresiones correctivas, lo que resultará en más cómputo y mayores requisitos de memoria.

Expresiones correctivas: ajustes internos que refinan expresiones complejas. Las expresiones correctivas se analizan con más detalle más adelante en este documento.

Fondo de la evaluación de MetaHuman en rostros humanos

En el transcurso de su evolución, Rig Logic ha pasado por varias iteraciones importantes. La última generación representa el trabajo colectivo y los refinamientos acumulados a lo largo de años de investigación y desarrollo.

En una plataforma facial exitosa, los valores de entrada son controles, cada uno de los cuales representa una sola expresión FACS facial. A partir de dicha entrada, se producen cálculos para producir los siguientes valores de salida:

  • Transformación conjunta.
  • Ponderaciones de canal de forma de mezcla.
  • Multiplicadores de sombreado para mapas animados.

Estos tres valores de salida son el núcleo de los sistemas de perforación facial más exitosos que se usan en la actualidad. Nuestra investigación se ha dirigido en gran medida a hacer que el cálculo y la salida de estos tres valores sean más precisos y eficientes.

Cuando 3Lateral comenzó a trabajar por primera vez con plataformas en tiempo real; se construyeron completamente utilizando el conjunto de herramientas proporcionado por Autodesk Maya. Un paquete de creación de contenido digital de Autodesk y una opción popular entre los artistas 3D en juegos, cine y televisión, y otros campos.

Expresiones faciales correctivas de esta evaluación de MetaHuman en rostros humanos

El kit de herramientas de Autodesk Maya incluye claves impulsadas (DK) complementadas con expresiones correctivas y una red de sombreado. Las deformaciones se calcularon utilizando solo estas abstracciones, lo que nos proporcionó los tres valores de salida necesarios para animar correctamente la cara.

Si bien esta solución funcionó bien y proporcionó un alto nivel de calidad; la evaluación de la plataforma fue muy lenta y la integración con otras tecnologías fue complicada.

Flujo de datos en el proceso original de evaluación de la plataforma facial en tiempo real de 3Lateral
Flujo de datos en el proceso original de evaluación de la plataforma facial en tiempo real de 3Lateral

El desafío de la evaluación de equipos faciales en tiempo real

El desafío al que nos enfrentamos fue desarrollar un sistema de manipulación facial que produjera el mismo nivel de calidad; o uno similar mientras se computaba en tiempo real a 30 fps o más. También queríamos que fuera posible integrar el sistema con otras tecnologías.

En esencia, Rig Logic se encargó de calcular los valores de salida que representaban las deformaciones; en función de los mismos tipos de valores de entrada que utiliza Autodesk Maya. Pero con una ejecución mucho más rápida.

También añadimos el objetivo de hacer que la plataforma sea reutilizable entre los personajes, independientemente de la forma facial. Lo que hace que la solución de la plataforma sea altamente exportable y mucho más útil para varias tecnologías.

Flujo de datos desde los controles de la plataforma hasta las expresiones, el cálculo de Rig Logic y, finalmente, las articulaciones faciales para colocar la cara en la expresión deseada.
Flujo de datos desde los controles de la plataforma hasta las expresiones, el cálculo de Rig Logic y, finalmente, las articulaciones faciales para colocar la cara en la expresión deseada.

Una plataforma facial de última generación para producir animaciones faciales de alta calidad contiene alrededor de 800 articulaciones; y más de 200 controles para expresiones, complementado con más de 1000 expresiones correctivas. Lo que significa que tuvimos mucho trabajo para desarrollar una solución de tiempo de ejecución que pudiera adaptarse a la salida en tiempo real.

Elementos relevantes que utilizamos para los Riggs faciales de MetaHuman Creator

  • Complemento Rig Logic y archivo MetaHuman DNA.
  • Deformador de pesos de piel y articulaciones.
  • Configuración de texturas base y animadas.
  • Deformador de forma de mezcla.
  • Interfaz de usuario.
  • LOD incorporados.

Solución y requisitos que vemos en esta evaluación de MetaHuman en rostros humanos

Para lograr una solución de tiempo de ejecución viable para el rigging y la animación facial; Rig Logic se propuso abordar los siguientes requisitos para el rig y su funcionamiento:

Evaluación del tiempo de ejecución. Idealmente, la evaluación del tiempo de ejecución de la plataforma facial significaría la reproducción en tiempo real de la animación a una velocidad razonable; como 30 fps o más.

Reducción de parámetros de entrada y salida. La reducción del número de parámetros naturalmente hace que el sistema funcione más rápido.

Compresión de animación sin pérdidas. Los datos comprimidos son más rápidos de procesar debido a su menor tamaño. La compresión de datos generalmente proporciona una reducción de 10 a 15 veces en el tamaño de los datos con un uso mínimo de CPU. Pero esta reducción solo es viable si dicha compresión no tiene pérdidas.

Reutilización de plataformas. El sistema debe diseñarse de tal manera que no exista una dependencia de la forma facial, la proporción, la demografía, etc. Lo que hace posible compartir fácilmente datos de animación entre diferentes personajes.

Uso de LOD flexible

  • Canalización del proceso más eficiente.
  • La misma animación debería poder controlar todas las especificaciones LOD.

Crear un equipo que evalúe en tiempo de ejecución conduce naturalmente a ciertas mejoras en la eficiencia de la canalización. Por ejemplo, la exportación de animaciones sería mucho más liviana debido a tamaños de datos mucho más pequeños; y si el sistema está diseñado correctamente, las actualizaciones de equipos no requieren la reexportación de todas las animaciones.

Se vincula fácilmente con cualquier software de animación facial. Debido a que la solución se basa en una organización de la plataforma basada en los músculos; es fácil de integrar con soluciones de animación facial basadas en audio como SpeechGraphics.

Admite la mezcla de animaciones no lineales. El sistema necesitaría admitir respuestas dinámicas en tiempo de ejecución. Por ejemplo, un personaje podría realizar una actuación mientras tiene una respuesta interactiva a un evento del juego; como una linterna que brilla en los ojos del personaje. La solución también debería admitir la superposición de emociones en la animación.

Reducción de deformaciones articulares

Para desacoplar las plataformas de Autodesk Maya, Rig Logic se desarrolló como un intento de capturar los datos necesarios que representan las plataformas faciales; y proporcionar un componente de tiempo de ejecución para evaluarlo en tiempo real. Las primeras generaciones de Rig Logic simplemente hicieron eso: extrajeron los datos de Autodesk Maya y representaron Driven Keys con la función lineal: Y = K*X

El valor de y aumenta linealmente a medida que aumenta X, y el grado en que aumenta y (la pendiente) está determinado por K.

Representación de la función de pendiente y=K*X para determinar los valores de X (entrada), y (salida) YK (parámetro del equipo).

X es el valor de control de entrada, restringido al rango [0.0,1.0].

Y es el valor de deformación de salida (por ejemplo, valor del parámetro joint.rotation.X).

K es el parámetro del equipo que define cómo se comporta la función.

Representación de la función de pendiente Y=K*X para determinar los valores de X (entrada), y (salida) YK (parámetro del equipo).

Tratar los valores de X e Y de esta manera hizo posible codificar los parámetros de estas funciones de pendiente en una matriz.

Matriz de almacenamiento de filas comprimidas

Se eligió una matriz de almacenamiento de filas comprimidas (CRS) dispersa como tipo de matriz; con el objetivo de minimizar los requisitos de espacio de almacenamiento y brindar un rendimiento computacional decente. Las primitivas geométricas no se abordaron en esta versión de Rig Logic; el sistema aún dependía de primitivos geométricos (mallas) en Autodesk Maya.

Matriz de muestra representativa de deltas de transformación conjunta (K) calculados con la función lineal Y = K*X.
Matriz de muestra representativa de deltas de transformación conjunta (K) calculados con la función lineal Y = K*X.
Evaluación de MetaHuman en rostros humanos con Rig Logic
Evaluación de MetaHuman en rostros humanos con Rig Logic

El análisis posterior de esta matriz reveló que se estaban formando grupos densos de estos parámetros en la matriz; que de otro modo sería en su mayoría escasa.

También se observó que estas mismas submatrices densas contenían parámetros para deformaciones dirigidas a regiones específicas de la cara. Por lo que se introdujo el concepto de grupos conjuntos.

Los grupos de articulaciones representan estas submatrices densas; y también proporcionan una separación lógica de las articulaciones en grupos que se dirigen a regiones específicas de la cara.

Grupos conjuntos
Grupos conjuntos – Evaluación de MetaHuman en rostros humanos

Grupos de conjuntos para matrices

Como se puede ver en la imagen anterior, también hubo valores atípicos, parámetros que no formaban parte de una submatriz densa. (Los valores atípicos se representan en rosa en el diagrama). Estos valores atípicos resultaron representar deformaciones en regiones de la cara donde las articulaciones en cuestión no deberían tener ninguna influencia.

Como resultado de esta observación, se implementó un proceso de poda inteligente para deshacerse de estos valores atípicos. Dejando la matriz solo con las regiones densamente pobladas.

Este proceso de poda redujo efectivamente los datos que debían almacenarse y evaluarse en tiempo de ejecución y eliminó las deformaciones incorrectas. Las regiones densas resultantes brindaron una buena oportunidad para implementar un algoritmo muy rápido para evaluar las uniones.

Las iteraciones posteriores también separaron distintos tipos de datos (juntas, formas combinadas y mapas animados) en matrices separadas; cada una de las cuales representa una función lineal condicional.

Nivel de detalle (LOD)

Es común que una expresión facial consista en dos o más expresiones básicas. Un ejemplo de una expresión compleja sería una combinación de tres expresiones básicas. (1) levantar las cejas mientras (2) abrir mucho los ojos y (3) separar ligeramente los labios.

Para proporcionar la mayor eficiencia posible para estas expresiones complejas, Rig Logic se diseñó teniendo en cuenta la compatibilidad con LOD. Recuerde que cada expresión se define mediante transformaciones de articulaciones específicas, pero no todas las articulaciones participan en una expresión determinada.

En LOD 0, el nivel más detallado, todas las transformaciones conjuntas; a las que se hace referencia para esa expresión se utilizan para formar la expresión. Sin embargo, los LOD más bajos (LOD 1, LOD 2, etc.). Utilizan un subconjunto estricto de las uniones a las que se hace referencia en LOD 0.

Diagrama que muestra el cambio en el número de nudos asociados de LOD 0 a LOD 4, de la topología más densa y máximo número de nudos (LOD 0) a la topología menos densa y mínimo número de nudos (LOD 4).
Diagrama que muestra el cambio en el número de nudos asociados de LOD 0 a LOD 4, de la topología más densa y máximo número de nudos (LOD 0) a la topología menos densa y mínimo número de nudos (LOD 4).

Unir distintas referencias de LOD

Limitar las uniones a las que se hace referencia en los LOD inferiores; a las mismas uniones a las que se hace referencia en el LOD 0; proporciona un mecanismo de costo cero para cambiar entre LOD, con un desperdicio de datos mínimo.

Pasar de un LOD más bajo a uno más alto simplemente agrega las uniones especificadas a los datos ya cargados; y moverse de un LOD más alto a uno más bajo simplemente ignora las uniones no referenciadas.

Si bien hay ocho LOD integrados en el sistema, Rig Logic se puede personalizar para agregar más si es necesario. Dependiendo de la restricción del número de juntas y la calidad de las deformaciones requeridas para las diferentes partes de la cara. El sistema puede combinar fácilmente juntas y pesos de piel con diferentes topologías para formar diferentes LOD.

Ejemplos de expresiones representadas como LOD de mayor a menor, con cambio de costo cero entre LOD.
Ejemplos de expresiones representadas como LOD de mayor a menor, con cambio de costo cero entre LOD. Evaluación de MetaHuman en rostros humanos.

Para reducir aún más el uso de la memoria, también es posible especificar los LOD esperados que se necesitarán en tiempo de ejecución (o especificar un LOD máximo y/o mínimo). Cualquier dato que no esté referenciado por los LOD elegidos no se cargará.

Formato de archivo de ADN MetaHuman

El formato de archivo 3Lateral MetaHuman DNA está diseñado para almacenar la descripción completa de la plataforma y la geometría de un objeto 3D. Basándose únicamente en un archivo de ADN de MetaHuman; es posible reconstruir la malla completa de un objeto y tenerlo completamente manipulado, listo para ser animado.

En la práctica, los archivos de ADN MetaHuman se utilizan para almacenar solo las caras de los personajes humanos; y no sus cuerpos, accesorios u otros objetos.

El contenido de un archivo de ADN de MetaHuman se codifica utilizando un formato binario patentado; aunque la especificación del formato, así como el código que lo lee, es de código abierto.

Capas

Los datos contenidos en los archivos de ADN de MetaHuman se separan en varias capas lógicas. Las capas están conectadas en una jerarquía suelta; donde cada capa subsiguiente en un archivo de ADN de MetaHuman se basa en los datos almacenados en las capas debajo de ella.

Capas lógicas en archivos de ADN de MetaHuman
Capas lógicas en archivos de ADN de MetaHuman

Es posible cargar selectivamente datos de ADN de MetaHuman solo hasta una capa específica. Como puede verse en la imagen anterior, las capas de Comportamiento y Geometría no dependen una de la otra. Esta independencia es crucial para los casos de uso en los que el archivo MetaHuman DNA; solo se necesita para controlar un equipo (evaluación del tiempo de ejecución mediante la capa de comportamiento) sin necesidad de acceder a los datos de geometría.

Esta independencia hace que la solución sea portátil, por lo que no tiene que aplicarse a la geometría Autodesk Maya; ni a ninguna otra geometría específica, y puede usarse con otras aplicaciones donde reside la geometría facial. El formato de archivo se diseñó cuidadosamente para producir un formato eficiente pero completo para la animación facial en tiempo real.

Capa de descriptor

La capa Descriptor contiene metadatos básicos sobre el equipo, como:

  • Nombre del personaje.
  • Edad.
  • Arquetipo facial.
  • Metadatos de cadenas arbitrarias en forma de pares clave/valor.
  • Parámetros de compatibilidad según sea necesario (relevante para sistemas de nivel superior, por ejemplo, para mezclar archivos de ADN de MetaHuman).

Capa de definición

La capa de definición contiene los datos estáticos del equipo, como:

  • Jerarquía conjunta.
  • Transformaciones conjuntas de la pose vinculante (como T-pose).
  • Nombres de controles, uniones, formas de fusión, mapas animados y mallas.
  • Mapeos de uniones, formas combinadas, mapas animados y mallas para LOD individuales.

Esta capa contiene la información necesaria para realizar el filtrado en las capas posteriores en función de los LOD elegidos.

Capa de comportamiento

La capa de comportamiento contiene los datos dinámicos del equipo, que se utilizan para:

Asignar controles de GUI a valores de control sin formato

  • Calcular expresiones correctivas.
  • Puede calcular pesos de mapas animados.
  • Permite calcular transformaciones conjuntas.
  • Calcula los pesos de los canales de forma de mezcla.

Capa de geometría

La capa Geometría contiene todos los datos necesarios para reconstruir la malla del personaje; junto con los pesos de la piel y los deltas objetivo de la forma de mezcla. La información de malla en sí está estructurada en un formato similar al formato de archivo OBJ.

Expresión facial en un personaje MetaHuman - Evaluación de MetaHuman en rostros humanos con Rig Logic
Expresión facial en un personaje MetaHuman – Evaluación de MetaHuman en rostros humanos con Rig Logic

Expresiones correctivas

Para expresiones complejas, habrá algo de superposición, donde algunas uniones se ven afectadas por más de una expresión básica. En tal caso, es probable que la simple activación de todas las deformaciones especificadas conduzca a deformaciones «multiplicadas». Que suelen ser perjudiciales para el resultado visible.

Las expresiones correctivas representan la solución para corregir la superposición conjunta en expresiones complejas. Para cada expresión compleja, se debe definir una expresión correctiva que esencialmente deshaga el daño causado en estas regiones problemáticas. Tales expresiones complejas deben definirse para cada combinación de expresiones básicas (o al menos las combinaciones que se consideren importantes).

Por lo tanto, cuando aumenta el número de expresiones básicas admitidas, el número de expresiones complejas también aumenta exponencialmente. Debido al consumo de memoria y cálculo computacional, no es factible habilitar una solución correctiva para cada combinación posible. Pero se pueden servir las combinaciones más importantes.

Deformaciones faciales representativas de emociones

La muestra un ejemplo de deformaciones faciales para representar una pose facial para gritos de enojo. La creación de tal pose puede requerir una combinación de varias expresiones básicas:

  • Tirar de la esquina de la boca.
  • Mandíbula abierta extrema.
  • Estiramiento de la boca.
  • Estiramiento del cuello.
  • Arrugadores de nariz.
  • Entrecerrar los ojos.
  • Cejas inferiores.

Es probable que haya varias superposiciones conjuntas para estas expresiones. Por ejemplo, las expresiones de la boca y la nariz; cuando se suman sin corrección, es probable que causen un estiramiento extremo alrededor de esa área de la cara.

Posturas faciales antes (izquierda) y después (derecha) de la aplicación de expresiones correctivas a una combinación específica de expresiones básicas.
Posturas faciales antes (izquierda) y después (derecha) de la aplicación de expresiones correctivas a una combinación específica de expresiones básicas.

Expresiones con poses poco naturales

La cabeza de la izquierda muestra una suma directa de las expresiones enumeradas anteriormente, lo que da como resultado una pose poco natural. La solución es ajustar la pose con expresiones correctivas específicas cada vez que se activa esta combinación específica de expresiones.

La cabeza de la derecha muestra la pose facial después de aplicar expresiones correctivas para esta combinación de expresiones. Lo que da como resultado una pose mucho más natural y convincente.

En la imagen siguiente se muestran ejemplos adicionales de expresiones correctivas en acción.

Expresiones correctoras aplicadas (derecha) para corregir deformaciones multiplicadas (izquierda).
Expresiones correctoras aplicadas (derecha) para corregir deformaciones multiplicadas (izquierda).

Estrategia de tiempo de ejecución en las articulaciones

En Rig Logic, las juntas se separan en grupos de juntas a través de una nueva estrategia de poda. Durante la preparación de un archivo de ADN de MetaHuman; los datos que representan las transformaciones conjuntas se eliminan eliminando los datos no deseados que, de otro modo; afectarían negativamente a los resultados (aunque su daño sería insignificante).

Esto tiene el efecto positivo de reducir la cantidad de datos que deben almacenarse y también reduce la cantidad de cálculo que deberá realizarse en tiempo de ejecución.

El esquema del proceso de poda es el siguiente:

  • La cara se separa en una serie de regiones lógicas (frente, mandíbula, mentón, etc.).
  • Las articulaciones se separan en grupos según las regiones faciales a las que afectan.
  • Se establece un mapeo entre cada expresión y los conjuntos conjuntos afectados por la expresión.
  • Se define una restricción para hacer cumplir que no se permite que ningún grupo conjunto contenga datos. Datos que afectarían regiones que no se espera que controlen.

Básicamente, esto significa que cuando se ensambla un grupo de articulaciones para exportarlo a un archivo de ADN de MetaHuman. Contendrá solo los datos de aquellas articulaciones que pertenecen a la región de la cara a la que se asigna el grupo de articulaciones.

Los datos también serán filtrado para contener transformaciones de solo las expresiones específicas que pueden afectar al grupo conjunto que se está procesando.

El mecanismo LOD mencionado anteriormente para articulaciones se define realmente sobre cada grupo de articulaciones individualmente, por cada LOD.

Regiones faciales definidas por color
Regiones faciales definidas por color – Evaluación de MetaHuman en rostros humanos

Mezclar formas

Los pesos del canal de forma de mezcla calculados por Rig Logic representan la intensidad por la cual los deltas objetivo de forma de mezcla deben activarse. Los deltas de destino de forma de mezcla no son producidos por Rig Logic; sino que se almacenan en la sección de geometría de los archivos de ADN de MetaHuman. El proceso computacional es una simple reasignación de los pesos de control de entrada que recibe Rig Logic.

Al igual que con las juntas, los datos para calcular los pesos de los canales de forma de mezcla también se ordenan por LOD. Por lo tanto, una simple operación de corte es suficiente para limitar el cálculo del LOD seleccionado.

Mapas animados

Los resultados producidos por los mapas animados son multiplicadores; que se alimentan directamente a los sombreadores que controlan las arrugas, los efectos del flujo sanguíneo debajo de la piel, etc.

Siguiendo los mismos principios que las otras soluciones; los mapas animados se ordenan por LOD y disfrutan del mismo beneficio del cambio de LOD de costo cero.

Actuación en esta evaluación de MetaHuman en rostros humanos

A través del proceso de separación de juntas en grupos de juntas; fue posible utilizar submatrices densas en lugar de una matriz dispersa para el almacenamiento de juntas. Lo que demostró ser beneficioso para implementar un algoritmo muy eficiente para calcular transformaciones de juntas.

Utilizamos un diseño de matriz personalizado que divide los datos en pequeños bloques de una manera compatible con caché y SIMD. Con un relleno mínimo de modo que no es necesario un ciclo de resto escalar. Por lo tanto, toda la ruta del código está completamente vectorizada (mientras que la sobrecarga de la memoria de relleno es inferior al 2%).

En comparación con generaciones anteriores de Rig Logic que usaban una matriz de CSR simple para la misma operación. Esta nueva versión logró una mejora de seis veces en el tiempo de evaluación. Al mismo tiempo, el número de articulaciones evaluadas aumentó significativamente. El código resultante logra una utilización de canalización de CPU casi ideal.

Conclusiones de esta evaluación de MetaHuman en rostros humanos con Rig Logic
Conclusiones de esta evaluación de MetaHuman en rostros humanos con Rig Logic

Conclusión de esta evaluación de MetaHuman en rostros humanos

Rig Logic es una gran mejora con respecto a las soluciones anteriores de animación facial en tiempo real. Con sus muchas eficiencias, portabilidad y otras características, Rig Logic ha demostrado ser una solución viable para MetaHuman Creator y otras implementaciones.

En el futuro, planeamos mejorar aún más Rig Logic al continuar desarrollando la tecnología, que acompañará las necesidades del proyecto de Epic Games. También buscaremos tecnologías emergentes para informar el desarrollo y mejorar las versiones futuras de Rig Logic. Puedes acceder al contenido de la compañía aquí.

3Lateral desarrolla tecnologías innovadoras que permiten la digitalización de la apariencia y el movimiento humanos a un nivel de realismo sin precedentes. 3Lateral ha sido reconocido como un pionero en la industria del juego y tiene una larga lista de exitosos proyectos de juegos AAA.

Nuestra tecnología es aplicable en muchas otras industrias como inteligencia artificial (IA), biometría, robótica, automoción e investigación. Con el fin de digitalizar la apariencia y el movimiento de un ser humano, producimos una solución de extremo a extremo. Desde electrónica y hardware para escaneo 3D y 4D, soluciones de infraestructura de TI; bases de datos, tuberías, algoritmos de procesamiento y soluciones de motores en tiempo real.

3Lateral es parte de Epic Games Inc.

Durante más de 25 años, Epic Games ha estado haciendo juegos galardonados y tecnologías de motores de juegos que permiten a otros crear juegos visualmente impresionantes y contenido 3D que da vida al medio ambiente como nunca antes.

La galardonada tecnología Unreal Engine de Epic no solo brinda a los desarrolladores de juegos la capacidad de crear experiencias interactivas de alta fidelidad para PC, consola, dispositivos móviles y realidad virtual, sino que también es una herramienta que está siendo adoptada por los creadores de contenido en una variedad de industrias como medios y entretenimiento, automotriz y diseño arquitectónico.

El equipo de Novi Sad deLateral desarrolla tecnologías humanas digitales para Unreal Engine. Con fuerzas unidas y siguiendo una visión clara. Creemos que tendremos un impacto positivo en la tecnología, la educación, el bienestar y el intercambio de conocimientos en nuestro equipo y en la comunidad en general.

Sobre los servicios de 3Lateral

Concepto de personajes

3Lateral trabaja actualmente para definir el estilo visual y el diseño de 30 personajes principales en un largometraje de animación. Son capaces de comunicar el diseño a través de medios tradicionales y digitales.

Modelado de personajes

Estrechamente relacionado con lo anterior, a menudo es más eficiente realizar los diseños en forma de malla ordenada; con todas las esculturas y texturas de alta resolución necesarias. Los clientes a menudo prefieren que manipulemos estos modelos. Lo que aumenta la eficiencia de todo el proceso, ya que siempre sabremos mejor qué tipo de mallas construir para los pasos futuros en toda la canalización.

Rigging de personajes

Con nuestro departamento de RnD estamos trabajando constantemente en nuevas soluciones para el rigging de personajes. Igualmente favorecemos la calidad y la productividad; el término «solución» significa satisfacer ambos criterios para una tarea determinada.

Rigging facial

El rigging facial es un tema enorme en 3Lateral, principalmente debido a la amplia experiencia que tiene nuestro equipo y al sólido software propietario que hemos construido para este propósito. Nuestras soluciones van desde plataformas de juegos de la generación actual (PS3/Xbox 360/PC) y plataformas de cara de próxima generación, hasta plataformas de calidad VFX.

Esta es un área en la que somos extremadamente productivos y al mismo tiempo satisfacemos los más altos estándares de organización de producción y los requisitos de calidad. El rigging facial es un tema muy dinámico en la industria.

Escaneo 3D

Ofrecemos servicios de escaneo 3D en nuestro estudio o en las ubicaciones de los clientes con nuestros equipos móviles. No solo podemos construir activos basados en datos recopilados, sino que también podemos incrustarlos en las plataformas para mejorar el realismo.

Simulación

Ofrecemos una gama de servicios de simulación por computadora relacionados con los personajes CG: simulaciones de músculo; cabello y tela en paquetes populares, así como el desarrollo de soluciones personalizadas.

Pipeline y consultoría

3Lateral ofrece servicios de consultoría y desarrollo de pipelines relacionados con el rigging facial y la animación. A través de una amplia experiencia y conocimiento de nuestro equipo estamos ayudando a nuestros clientes a evitar problemas comunes; minimizar el riesgo y los procesos de ida y vuelta en sus producciones.

Acerca de este documento

Desarrollo tecnológico: 3Lateral.
Autor: Andrean Franc.
Contribución de: Pavel Kovac.
Editor: Michele Bousquet.
Gráficos y diseño: Jung Kwak.

Nota: Rig Logic está incorporado en los siguientes productos: MetaHuman Creator, activos de personajes de MetaHuman y en el motor de Unreal; su uso está cubierto por las licencias aplicables para estos productos. Copyright 2022 Epic Games, Inc.

Puedes descargar este documento en formato PDF desde este enlace. Puedes acceder al contenido web de la compañía aquí.

Tienes más artículos sobre MetaHuman aquí. En el foro puedes ver toda la información agrupada y los comentarios. Sigue leyendo…