Fotogrametría de una estatua de Atenea. Este artículo describe el proceso de trabajo realizado por el artista Maxime Marier para convertir una estatua real en un modelo 3D. Utilizando fotogrametría, ZBrush y Marmoset.
Maxime Marier nos explica sobre el flujo de trabajo detrás del proyecto Athena, habla sobre las condiciones climáticas adecuadas para la fotogrametría y explica por qué eligió Marmoset Toolbag para el renderizado.
La fotogrametría se está volviendo cada vez más popular, lo que permite la creación de renders realistas mediante el uso de fotografías de objetos reales. Maxime Marier, profesora de Isart Digital, escuela creativa de videojuegos y 3D-VFX
Introducción
La fotogrametría es una tecnología que siempre quise probar, el proceso para crear un modelo 3D de un objeto del mundo real con imágenes de alta calidad. Por lo que he visto, ninguna otra técnica alcanza el nivel de realismo que esta tecnología proporciona.
El Proyecto Athena
Un proyecto que me hizo querer probar esta tecnología más que cualquier otra es Star Wars: Battlefront. En la nueva versión de EA, utilizaron la fotogrametría para hacer que los niveles de los juegos fueran más creíbles que nunca. Como se puede ver en la imagen de abajo, fueron al set de la trilogía de Star Wars para tomar fotografías de alta calidad. Con esas imágenes, el equipo de pudo recrear activos del set con una increíble cantidad de detalle. Como fan de Star Wars, eso fue más que suficiente para despertar mi interés por esa tecnología.
Te sugiero que veas el proceso de fotogrametría utilizado en Battlefront, está disponible en YouTube. Después de haber jugado el juego, tengo que decir estar presente allí mismo, en el set de la trilogía original.
Conferencia GDC de Dice
Esta conferencia de GDC de Dice fue un gran punto de partida para mí. Lo primero que entendí es que necesitaba una fotografía de alta calidad. Yo mismo tengo algunos conocimientos básicos, pero no soy fotógrafo. En ese momento, estaba trabajando en el Institut Grasset en el departamento de Animación 3D. Una de las asignaturas que allí se imparte es producción televisiva y realización de películas; y como probablemente sepas, dominar una cámara es parte fundamental de esas clases.
Así que decidí preguntarle a mi colega Jonathan de ese departamento si quería ayudarme a tomar fotografías de alta calidad de un monumento aquí en Montreal. Afortunadamente para mí, Jonathan estaba interesado en ayudarme durante unas horas de la sesión de fotografías.
La sesión fotográfica
El primer paso del proyecto fue elegir un tema, en ese caso, un monumento o una estatua. Buscar en internet sitios cercanos donde haya estatuas o similares es práctico. Al navegar por el sitio web, me encontré con una estatua de Atenea ubicada en Jean-Talon. A primera vista, supe que sería un tema interesante para nuestro proyecto de fotogrametría.
Así que cogimos el coche, una escalera grande y un equipo de cámara profesional, y nos fuimos al parque de Athena. De inmediato quedé contento con mi elección porque de hecho es una hermosa obra de arte. Fue todo un desafío porque la altura de la estatua es de 2,31 metros y obtener la cobertura completa de las imágenes fue difícil.
Capturando fotografías de ángulo alto de la estatua
El proceso de fotografiar un sujeto para fotogrametría implica tomar fotografías alrededor del objeto para cubrir 360 grados desde múltiples ángulos. Como puedes ver en la imagen de abajo, fotografiamos haciendo un 360 grados de la estatua desde 3 ángulos para obtener la cobertura máxima. También captamos algunos primeros planos para obtener detalles adicionales. Los cuadrados azules en la imagen de abajo representan cada imagen tomada durante la sesión; el software es capaz de calcular la posición de cada imagen desde el área cuando ingresa cada imagen individual.
Eso hace un total de 336 imágenes y casi 10 GB de imágenes en bruto. Jonathan me proporcionó archivos JPG y RAW comprimidos. Para este proyecto elijo RAW para tener el máximo control de las imágenes.
La iluminación nos condiciona en exteriores
Una cosa que fue difícil de controlar en esta sesión fueron las condiciones de iluminación. La sesión en sí puede llevarnos algún tiempo; por lo que las condiciones de iluminación cambiarán durante el día. El día que hicimos la sesión, estaba parcialmente nublado, y se puede ver el patrón de nubes moviéndose sobre la estatua en sí, lo cual no es ideal. Creo que para tener los mejores resultados, debemos elegir un día nublado, para que la iluminación sea lo más difusa posible en el objeto y no tenga sombras que puedan afectar el resultado de la fotogrametría. Eso es para una sesión exterior, por supuesto, si estás haciendo la sesión fotográfica en interior, la cosa cambia.
Podemos ver la configuración que hemos utilizado para procesar los archivos raw en Adobe Photoshop, la configuración de la cámara también está presente. El objetivo de la configuración utilizada aquí es obtener la máxima información de los archivos sin procesar. Eso nos evita sombras oscuras o reflejos quemados que pueden provocar una pérdida de información en las imágenes. Luego exportamos el resultado final como archivos .tiff sin comprimir.
Generar y procesar el modelo 3D para fotogrametría
Terminamos probando dos softwares distintos para procesar las imágenes y generar el modelo 3D; Agisoft Metashape y Reality Capture. El resultado que tuvimos fue que el modelo de Reality Capture parece un poco mejor que el de Metashape, pero estaban muy cerca en calidad.
El principal problema que tuvimos a la hora de generar el modelo 3D de alta resolución es que el modelo generado a partir de las imágenes completas de la estatua no tenía suficiente detalle. Una explicación simple para eso es que cuando tienes la estatua completa en una imagen, hay una pérdida de espacio alrededor de la estatua.
Terminamos generando el modelo a partir del primer plano de la cabeza. Una vez que tuvimos el modelo de tamaño completo y la cabeza, pudimos unir ambos modelos con dynaMesh del ZBrush. En ZBrush, también hice el paso final de limpiar la escultura con las herramientas de escultura. Como podemos ver en el resultado final, pude mantener los datos de textura seguros transfiriendo la textura a los datos de color del vértice ZBrush.
Optimizando el modelo para la fotogrametría
Ahora, con el escaneado del modelo en alta resolución de mi estatua en la mano, sé que necesitaba hacer una optimización para obtener un modelo que funcionara bien en un motor de renderizado en tiempo real. Hay algunas herramientas para la retopología automática, pero quería un nivel de detalle que esas herramientas no pudieran hacer, así que al final, elegí hacer manualmente una nueva topología con la herramienta Quad Draw de Autodesk Maya. Hacerlo manualmente lleva una cantidad de tiempo considerable, 5-6 horas en ese caso, pero siento que el nivel de detalle del renderizado final valió la pena, también quería hacer justicia al trabajo original.
Materiales en Substance 3D Painter para la fotogrametría
Ahora, con el modelo de baja resolución terminado, podemos bakear un buen mapa normal en Substance 3D Painter. Con los datos en alta resolución, también bakeamos los datos de color del escaneo. Para el material final, se mezclan los datos de color con un material de cobre para la estatua y un material de granito para la base. Luego podemos afinar la mezcla entre los dos.
Renders finales para la fotogrametría de una estatua de Atenea
Para el renderizado final, tuve que elegir una herramienta. Quería renderizarlo en tiempo real porque principalmente hago trabajos relacionados con los videojuegos. Me encanta Unreal Engine 4, pero puede llevar mucho tiempo obtener renders realistas, así que decidí ir con Marmoset Toolbag. Este motor de render puede obtener renders de aspecto profesional en pocos minutos. Así que aquí está el render final de este proyecto de fotogrametría.
Conclusión del proyecto de fotogrametría de una estatua de Atenea
En conclusión, puedo decir que algunas cosas que hice podrían mejorarse en un futuros proyectos de fotogrametría. Elegir el día adecuado con las condiciones de iluminación adecuadas puede marcar una gran diferencia. Además, una cosa que he aprendido es que los primeros planos realmente funcionan bien y coser el modelo en ZBrush también funciona con la herramienta DynaMesh. Por lo que probablemente en el próximo proyecto haría más primeros planos.
Estoy contento con el resultado final, creo que al final del día, logramos nuestro objetivo de escanear la estatua de Atenea y renderizarla en un motor de renderizado en tiempo real. Muchas gracias a Jonathan Bélisle por su ayuda con la sesión de fotografía, no podría haberlo hecho sin sus habilidades fotográficas.
No es la primera vez que publicamos artículos relacionados con la fotogrametría, puedes verlos aquí. Tienes más información sobre el proyecto y comentarios en el foro, sigue leyendo…