Character Creator con animación de Omniverse Audio2Face

Character Creator con animación de Omniverse Audio2Face. Nvidia ha añadido presets para los personajes generados por el software Character Creator de Reallusion a Omniverse Audio2Face. Su software libre experimental para generar animación facial a partir de fuentes de audio.

La funcionalidad hace posible que los usuarios de Reallusion generen animación de sincronización de labios automáticamente para sus personajes 3D. Lo hace a partir de grabaciones de voz en cualquier idioma, puede ser utilizado en motores de juegos como Unity y Unreal Engine.

El flujo de trabajo todavía está al principio del desarrollo, con Reallusion mostrándolo como una vista previa. Según la firma, las soluciones prácticas para entornos de producción llegarán en los próximos meses.

Automatiza el movimiento labial y animación facial

Como sabemos, puede generar sincronización automática de labios y animación facial para personajes a partir de archivos de audio. Publicado en beta abierta gratuita a principios de este año, y del que hemos hablado en este mismo tema.

Audio2Face es una herramienta entrenada en IA para generar animación facial para un personaje 3D a partir de una fuente de audio. Ya sea grabaciones de voz fuera de línea o una transmisión de audio en vivo.

Junto con la aplicación hermana Omniverse Machinima, el software forma parte de un conjunto de nuevas herramientas de juegos que Nvidia está desarrollando en torno a Omniverse, su nueva plataforma de colaboración en tiempo real basada en USD.

Character Creator con animación Omniverse Audio2Face

Omniverse Audio2Face añade presets de Character Creator

La última actualización, Audio2Face 2021.2.6, añade presets para personajes creados con Character Creator. El software de Reallusion para generar personajes 3D para juegos o aplicaciones en tiempo real.

Los usuarios pueden exportar la malla de la cabeza de Character Creator CC3 Base+ estándar. Y por supuesto también soporta personajes de juegos de menor resolución, así como generar sincronización de labios y animación facial automáticamente.

La animación resultante se puede exportar desde Audio2Face como una caché de puntos Maya o una caché de puntos USD. Para importarla a aplicaciones que admitan el formato de archivo USD, incluidas Unity y Unreal Engine.

Omniverse Audio2Face funciona con cualquier idioma

Funciona con diálogos en cualquier idioma, pero con opciones limitadas para editar la animación. A diferencia de AccuLips, el nuevo sistema automatizado de sincronización de labios en iClone, el propio software de animación de personajes de Reallusion, Audio2Face funciona con voz en cualquier idioma, no solo en inglés.

Sin embargo, las opciones para editar la animación resultante son actualmente más limitadas que con iClone.

La última versión proporciona controles deslizantes para ajustar la fuerza y el suavizado de la animación de la cara superior e inferior de un personaje, pero no admite la edición de blendshape.

Character Creator con animación de Omniverse Audio2Face

Audio2Face necesita de Character Creator 3.43 para usar los presets

En los comentarios del video que puedes ver más abajo, Reallusion comenta que está trabajando en un script de Python para integrar de nuevo las blendshapes a iClone.

El flujo de trabajo requiere la edición pipeline de Character Creator 3.43 o versiones superiores, Omniverse y la versión 3.43 o versiones superiores de su conector Character Creator, Omniverse Machinima 2021.2 o versiones superiores y Omniverse Audio2Face 2021.2.6 o versiones superiores.

Requisitos de software y hardware para Omniverse Audio2Face

Omniverse, Omniverse Machinima y Omniverse Audio2Face están disponibles para Windows 10. Para usar cualquiera de los tres, necesitarás una GPU Nvidia GeForce RTX 3060 o Quadro RTX 4000 o superior.

Todas las herramientas de Omniverse están en beta abierta, y son gratuitas para artistas individuales.

Character Creator está disponible para Windows 7 o versiones superiores. La edición pipeline cuesta 199 dólares.

Más información y comentarios en la sección del foro dedicada a Character Creator con animación de Omniverse, sigue leyendo…

Character Creator con animación de Omniverse