GauGAN360 genera entornos a 360 grados a partir de una fotografía

GauGAN360 genera entornos a 360 grados a partir de una fotografía. Se trata de una nueva herramienta artística en fase experimental que se puede utilizar online. Capaz de convertir bocetos en bruto en entornos de 360 ​​grados que se pueden usar en escenas 3D.

La demostración, una versión actualizada de la aplicación de pintura GauGAN AI de Nvidia; permite a los usuarios pintar en la forma general de un paisaje y hacer que GauGAN 360 genere un mapa de cubo coincidente o una imagen equirectangular.

Convierte garabatos rápidos en entornos sintéticos de 360 ​​grados para usar en escenas 3D. Nvidia describe GauGAN360 como la próxima evolución de GauGAN, su popular demostración de pintura de IA.

Lanzado en 2019, GauGAN utiliza un modelo de IA basado en redes adversas generativas para generar imágenes fotorrealistas que coinciden con los bocetos aproximados de los usuarios.

GauGAN hace más o menos lo mismo, pero en lugar de una imagen 2D convencional. El resultado es un mapa de cubos o una imagen equirectangular que se puede usar como un mapa de entorno dentro del software 3D.

La demostración de Nvidia muestra su propio software Omniverse Create. Pero los mapas podrían usarse en otras aplicaciones 3D como Blender o en motores de juegos como Unity y Unreal Engine.

pruebas con Gaugan360
pruebas con Gaugan360

GauGAN360 genera entornos a 360 con diferentes colores de pincel para pintar

El flujo de trabajo en GauGAN360 es similar a GauGAN. Pintas la forma aproximada de la imagen que desea generar en la plantilla online, haces clic en el botón y esperas a que lo haga la IA.

Diferentes colores de pincel representan diferentes elementos del paisaje: hay 25 disponibles, divididos en elementos de suelo como barro y arena; características de la tierra y el cielo como ríos, montañas y nubes; y plantas

Los controles son bastante básicos: una selección de tres formas de pincel y un control deslizante de tamaño de pincel, pero ese es el punto: está diseñado para generar imágenes a partir de garabatos muy rápidos.

También puede cargar una imagen real para usarla como fuente, con GauGAN360 generando una imagen sintética con la misma composición general que la original.

Funcionalidad limitada en la demostración en línea actual

En nuestras pruebas rápidas, descubrimos que los mejores resultados se obtuvieron al bloquear áreas amplias de un paisaje: pintar trazos más finos para sugerir características más pequeñas resultó en algunos árboles de aspecto extrañamente distorsionado, por ejemplo.

La demostración actual también genera solo paisajes naturales. Si bien había colores de pincel para carreteras y aceras, no había opciones para generar edificios u otras características hechas por el hombre.

El resultado era un archivo PNG de 8 bits, por lo que, si bien se podía usar como entorno de fondo, no sería adecuado para la iluminación ambiental y, con 1024 x 768 px, tenía una resolución bastante baja.

¿Más características avanzadas por venir en GauGAN360?

Sin embargo, el video teaser de Nvidia (incrustado en la parte superior de la historia) sugiere que puede haber más funciones por venir. El metraje muestra opciones para generar HDRI, así como panoramas de bajo rango dinámico.

La interfaz que se muestra en el video también incluye una categoría de Edificio que no está disponible en la demostración en línea actual, con colores de pincel que corresponden a características hechas por el hombre como casas, puentes y paredes.

Además, la descripción del video en YouTube dice que GauGAN360 genera panoramas 8K. Una resolución mucho más alta que las imágenes que pudimos descargar.

Sin embargo, incluso en su forma actual, GauGAN360 es muy divertido para jugar. Al igual que con GauGAN, hay algo muy satisfactorio en ver tus garabatos toscos convertidos en entornos de fantasía.

La tecnología detrás de GauGAN también es la base de Canvas, la aplicación de pintura con IA se puede descargar de forma gratuita en Nvidia. Por lo que si se actualiza de la misma manera, las mismas características también podrían estar disponibles en herramientas fuera de línea.

GauGAN360 genera entornos a 360 grados a partir de una fotografía
GauGAN360 genera entornos a 360 grados a partir de una fotografía

Requisitos del sistema y licencia para GauGAN360

La herramienta se ejecuta en un navegador web. Para generar una imagen, debes aceptar los términos de uso de Nvidia, que otorgan a Nvidia el derecho de usar o distribuir cualquier contenido que cargue o cree.

Puedes probar GauGAN360 en el nuevo sitio web de demostraciones de IA de Nvidia.

Tienes más artículos sobre esta herramienta aquí. Y en el foro puedes ver toda la información agrupada y los comentarios. Sigue leyendo…