NVIDIA ha contribuido con el mayor conjunto de datos sintéticos en interiores jamás creado para la conferencia Computer Vision and Pattern Recognition (CVPR), impulso esencial para que investigadores y desarrolladores avancen en el desarrollo de soluciones para ciudades inteligentes y automatización industrial.
El desafío, que ha atraído a más de 700 equipos de casi 50 países, reta a los participantes a desarrollar modelos de IA para mejorar la eficiencia operativa en entornos físicos, como el comercio minorista y los almacenes, así como los sistemas de tráfico inteligente.
Los equipos probaron sus modelos en los conjuntos de datos generados usando NVIDIA Omniverse, una plataforma de interfaces de programación de aplicaciones (APIs), kits de desarrollo de software (SDKs) y servicios que permiten a los desarrolladores crear aplicaciones y flujos de trabajo basados en Universal Scene Description (OpenUSD).
Creando y simulando gemelos digitales para grandes espacios
En espacios grandes y cerrados como fábricas y almacenes, las actividades diarias implican un flujo constante de personas, vehículos pequeños y futuros robots autónomos. Los desarrolladores necesitan soluciones que puedan observar y medir actividades, optimizar la eficiencia operativa y priorizar la seguridad humana en entornos complejos y a gran escala.
Los investigadores están abordando esa necesidad con modelos de visión por computadora que pueden percibir y entender el mundo físico. Puede ser utilizado en aplicaciones como el seguimiento con múltiples cámaras, donde un modelo rastrea múltiples entidades dentro de un entorno dado.
Para garantizar su precisión, los modelos deben ser entrenados con grandes conjuntos de datos verificados para una variedad de escenarios del mundo real. Pero recopilar esos datos puede ser un proceso desafiante, lento y costoso.
Los investigadores de IA recurren a simulaciones basadas en la física, como gemelos digitales del mundo físico, para mejorar la simulación y el entrenamiento de IA. Estos entornos virtuales pueden ayudar a generar datos sintéticos utilizados para entrenar modelos de IA. La simulación también proporciona una forma de ejecutar una multitud de escenarios de «qué pasaría si» en un entorno seguro, abordando problemas de privacidad y sesgo en la IA.
Crear datos sintéticos es importante para el entrenamiento de IA porque ofrece una cantidad de datos grande, escalable y expandible. Los equipos pueden generar un conjunto diverso de datos de entrenamiento cambiando muchos parámetros, incluyendo iluminación, ubicaciones de objetos, texturas y colores.
Construyendo conjuntos de datos sintéticos para el AI City Challenge
El AI City Challenge de este año consta de cinco pistas de desafío de visión por computadora que abarcan desde la gestión del tráfico hasta la seguridad de los trabajadores.
NVIDIA contribuyó con datos para la primera pista, Seguimiento de Personas con Múltiples Cámaras, que contó con la mayor participación, con más de 400 equipos. El desafío utilizó un punto de referencia y el mayor conjunto de datos sintéticos de su tipo, que comprende 212 horas de videos en 1080p a 30 fotogramas por segundo, abarcando 90 escenas en seis entornos virtuales, incluyendo un almacén, una tienda minorista y un hospital.
Creado en Omniverse, estos escenarios simularon casi 1,000 cámaras y contaron con alrededor de 2,500 personajes humanos digitales. También proporcionaron una forma para que los investigadores generen datos del tamaño y la fidelidad correctos para lograr los resultados deseados.
Los puntos de referencia se crearon utilizando Omniverse Replicator en NVIDIA Isaac Sim, una aplicación de referencia que permite a los desarrolladores diseñar, simular y entrenar IA para robots, espacios inteligentes o máquinas autónomas en entornos virtuales basados en la física construidos en NVIDIA Omniverse.
Omniverse Replicator, un SDK para construir pipelines de generación de datos sintéticos, automatizó muchas tareas manuales involucradas en generar datos sintéticos de calidad, incluyendo la randomización del dominio, la colocación y calibración de cámaras, el movimiento de personajes y el etiquetado semántico de datos y la verdad básica para la evaluación de referencia.
Diez instituciones y organizaciones están colaborando con NVIDIA para el AI City Challenge:
- Australian National University, Australia
- Emirates Center for Mobility Research, UAE
- Indian Institute of Technology Kanpur, India
- Iowa State University, EE.UU.
- Johns Hopkins University, EE.UU.
- National Yung-Ming Chiao-Tung University, Taiwán
- Santa Clara University, EE.UU.
- The United Arab Emirates University, UAE
- University at Albany – SUNY, EE.UU.
- Woven by Toyota, Japón
Impulsando el futuro de la IA física generativa
Investigadores y empresas de todo el mundo están desarrollando automatización de infraestructuras y robots impulsados por IA física, que son modelos que pueden entender instrucciones y realizar tareas complejas de forma autónoma en el mundo real.
La IA física generativa utiliza el aprendizaje por refuerzo en entornos simulados, donde percibe el mundo utilizando sensores simulados con precisión, realiza acciones basadas en leyes físicas y recibe retroalimentación para razonar sobre el siguiente conjunto de acciones.
Los desarrolladores pueden aprovechar SDKs y APIs, como el NVIDIA Metropolis para añadir capacidades de percepción mejorada para fábricas, almacenes y operaciones minoristas. Y con el último lanzamiento de NVIDIA Isaac Sim, los desarrolladores pueden optimizar los flujos de trabajo de robótica simulando y entrenando robots basados en IA en espacios virtuales basados en la física antes de su implementación en el mundo real.
Investigadores y desarrolladores también están combinando simulación de alta fidelidad basada en la física con IA avanzada para cerrar la brecha entre el entrenamiento simulado y la aplicación en el mundo real. Esto ayuda a garantizar que los entornos de entrenamiento sintético imiten de cerca las condiciones del mundo real para un despliegue de robots más fluido.
NVIDIA está llevando la precisión y la escala de las simulaciones más allá con el recientemente anunciado NVIDIA Omniverse Cloud Sensor RTX, un conjunto de microservicios que permiten la simulación precisa de sensores para acelerar el desarrollo de máquinas completamente autónomas.
Esta tecnología permitirá a los sistemas autónomos, ya sean fábricas, vehículos o robots, recopilar datos esenciales para percibir, navegar e interactuar eficazmente con el mundo real. Usando estos microservicios, los desarrolladores pueden realizar pruebas a gran escala sobre la percepción de sensores en entornos virtuales realistas, reduciendo significativamente el tiempo y el costo asociados con las pruebas en el mundo real.
Los microservicios Omniverse Cloud Sensor RTX estarán disponibles a finales de este año.
Mostrando IA avanzada con investigación
Los participantes enviaron artículos de investigación para el AI City Challenge y algunos lograron los primeros rankings.
Todos los artículos aceptados se presentarán en el taller AI City Challenge 2024, que se llevará a cabo el 17 de junio.
En el CVPR 2024, NVIDIA Research presentará más de 50 artículos, introduciendo avances en IA física generativa con aplicaciones potenciales en áreas como el desarrollo de vehículos autónomos y la robótica.
Artículos que utilizaron NVIDIA Omniverse para generar datos sintéticos o gemelos digitales de entornos para la simulación, prueba y validación de modelos incluyen:
