NVIDIA anunció un nuevo marco de aprendizaje profundo llamado fVDB, diseñado para generar representaciones virtuales del mundo real listas para inteligencia artificial. Este desarrollo se presentó en un evento científico importante.

Construido sobre OpenVDB

fVDB se basa en OpenVDB, que es la biblioteca estándar de la industria para simular y renderizar datos volumétricos dispersos, como agua, fuego, humo y nubes. La inteligencia espacial es vital para la IA generativa física, como los vehículos autónomos y los robots que operan en el mundo real, permitiéndoles entender y actuar en un espacio 3D.

Dificultades en la generación de modelos virtuales

Capturar la escala y los detalles finos del mundo que nos rodea es imprescindible. Sin embargo, la conversión de la realidad en una representación virtual para entrenar IA resulta compleja. Los datos en bruto de entornos del mundo real pueden recopilarse mediante diversas técnicas, como neural radiance fields (NeRFs) y lidar. fVDB traduce estos datos en entornos masivos renderizados en tiempo real y listos para IA.

Avances significativos en digital twins

La introducción de fVDB representa un importante avance en cómo las industrias pueden beneficiarse de los digital twins del mundo real. Los entornos virtuales a escala real se utilizan para entrenar agentes autónomos. Modelos 3D a escala de ciudad se capturan con drones para la ciencia climática y la planificación de desastres. Actualmente, la IA generativa 3D también se emplea para planificar espacios urbanos y ciudades inteligentes.

Mejoras en inteligencia espacial

fVDB permite que las industrias accedan a la inteligencia espacial a una escala y resolución superior a cualquier otro momento, volviendo a la inteligencia física aún más sofisticada. Este marco construye operadores de IA acelerados por NVIDIA sobre NanoVDB, una estructura de datos acelerada por GPU para simulaciones 3D eficientes.

Operadores de IA y sus aplicaciones

Los operadores de IA permiten a las empresas desarrollar redes neuronales complejas para la inteligencia espacial, como la reconstrucción de nubes de puntos en gran escala y el modelado generativo 3D. fVDB es el resultado de un esfuerzo prolongado por parte del equipo de investigación de NVIDIA y ya se utiliza para apoyar proyectos que requieren modelos de alta fidelidad de espacios del mundo real.

Ventajas clave de fVDB

• Más grande: 4 veces mayor escala espacial que marcos anteriores
• Más rápido: 3.5 veces más veloz que marcos anteriores
• Interoperable: Las empresas pueden aprovechar completamente los enormes conjuntos de datos del mundo real. fVDB lee conjuntos de datos VDB en entornos 3D de tamaño completo, listos para IA y renderizados en tiempo real para construir IA física con inteligencia espacial.
• Más potente: 10 veces más operadores que marcos anteriores. fVDB simplifica procesos combinando funcionalidades que antes requerían múltiples bibliotecas de aprendizaje profundo.

Disponibilidad de servicios de inferencia

fVDB estará disponible pronto como microservicios de inferencia NVIDIA NIM. Un trío de microservicios permitirá a las empresas incorporar fVDB en flujos de trabajo que generan geometría OpenUSD lista para IA en NVIDIA Omniverse, una plataforma de desarrollo para digitalización industrial y aplicaciones de IA generativa. Estos son:

• fVDB Mesh Generation NIM — Genera entornos 3D digitales del mundo real
• fVDB NeRF-XL NIM — Genera NeRFs a gran escala en OpenUSD utilizando APIs de Omniverse Cloud
• fVDB Physics Super-Res NIM — Realiza superresolución para generar una simulación física de alta resolución basada en OpenUSD

Innovaciones en OpenVDB

En la última década, OpenVDB ha sido reconocida con múltiples premios de la academia como una tecnología clave en la industria de efectos visuales. Ha evolucionado más allá del entretenimiento hacia usos industriales y científicos, como diseño industrial y robótica. NVIDIA continúa mejorando la biblioteca open-source OpenVDB, habiendo introducido anteriormente NanoVDB, que añadió soporte GPU para mejorar la velocidad y el desarrollo, permitiendo simulaciones y renderizados en tiempo real.

Recientemente, NVIDIA presentó NeuralVDB, que construye aprendizaje automático sobre NanoVDB para comprimir el uso de memoria de volúmenes VDB hasta 100 veces, permitiendo a creadores, desarrolladores e investigadores interactuar con conjuntos de datos extremadamente grandes y complejos. fVDB construye operadores de IA sobre NanoVDB para liberar inteligencia espacial a la escala de la realidad.

Los interesados pueden aplicar al programa de acceso anticipado para la extensión fVDB de PyTorch. fVDB también estará disponible como parte del repositorio de OpenVDB en GitHub.