Investigadores de NVIDIA utilizaron NVIDIA Edify, una arquitectura multimodal para la inteligencia artificial generativa visual, para construir un detallado paisaje desértico en 3D en cuestión de minutos durante una demostración en vivo en el evento de SIGGRAPH.

De la idea a la escena 3D en tres minutos

Crear una escena 3D completa es una tarea compleja y que consume mucho tiempo. Los artistas deben complementar su objeto principal con numerosos elementos de fondo para crear una escena rica y luego encontrar un fondo apropiado y un mapa ambiental para iluminarla. Debido a las limitaciones de tiempo, a menudo se habían visto obligados a hacer un sacrificio entre resultados rápidos y exploración creativa.

Con el apoyo de agentes de IA, los equipos creativos podían lograr ambos objetivos: dar vida rápidamente a los conceptos y continuar iterando para obtener la apariencia correcta.

Durante la demostración en tiempo real, los investigadores utilizaron un agente de IA para instruir a un modelo potenciado por NVIDIA Edify a generar docenas de activos 3D, incluyendo cactos, rocas y el cráneo de un toro, con vistas previas producidas en solo segundos.

Luego dirigieron al agente para que utilizara otros modelos para crear posibles fondos y un diseño de cómo se ubicarían los objetos en la escena, mostrando cómo el agente podía adaptarse a cambios de última hora en la dirección creativa al intercambiar rápidamente las rocas por pepitas de oro.

Con un plan de diseño establecido, le pidieron al agente que creara activos de calidad completa y renderizara la escena como una imagen fotorealista en NVIDIA Omniverse USD Composer, una aplicación para construir mundos virtuales.

NVIDIA Edify acelera la generación de entornos

Los modelos de NVIDIA Edify pueden ayudar a los creadores a centrarse en los activos principales mientras se acelera la creación de entornos y objetos de fondo mediante herramientas de generación de escenas impulsadas por IA. La demostración en tiempo real mostró dos modelos de Edify:

• Edify 3D genera mallas 3D listas para editar a partir de indicaciones en texto o imágenes. En segundos, el modelo puede generar vistas previas, incluyendo animaciones giratorias de cada objeto, para ayudar a los creadores a prototipar rápidamente antes de comprometerse con un diseño específico.
• Edify 360 HDRi utiliza indicaciones en texto o imagen para generar imágenes de alto rango dinámico (HDRi) de paisajes naturales, que pueden usarse como fondos y para iluminar escenas.

Durante la demostración, los investigadores también presentaron un agente de IA potenciado por un modelo de lenguaje grande y USD Layout, un modelo de IA que genera diseños de escena utilizando OpenUSD, una plataforma para flujos de trabajo en 3D.

Usando la descripción universal de escenas en NVIDIA Omniverse

Los objetos 3D, mapas ambientales y diseños generados utilizando modelos Edify están estructurados con USD, un formato estándar para describir y componer mundos 3D. Esta compatibilidad permite a los artistas importar inmediatamente las creaciones potenciadas por Edify en Omniverse USD Composer.

Dentro de Composer, pueden utilizar herramientas populares de creación de contenido digital para modificar aún más la escena, por ejemplo, cambiando la posición de los objetos, modificando su apariencia o ajustando la iluminación.

Real-Time Live es uno de los eventos más esperados en SIGGRAPH, presentando alrededor de una docena de aplicaciones en tiempo real, incluyendo inteligencia artificial generativa, realidad virtual y tecnología de captura de rendimiento en vivo.