Para acelerar el desarrollo de automóviles autónomos, NVIDIA fue nombrada hoy ganadora del Gran Desafío Autónomo en la conferencia de Computer Vision and Pattern Recognition (CVPR), que se lleva a cabo esta semana en Seattle.
Basándose en la victoria del año pasado en la predicción de ocupación 3D, **NVIDIA Research** encabezó la tabla de clasificación este año en la categoría de **conducción de extremo a extremo a escala** con su modelo Hydra-MDP, superando a más de 400 participantes de todo el mundo.
Este hito muestra la importancia de la **IA generativa** en la construcción de aplicaciones para despliegues de IA física en el desarrollo de vehículos autónomos (AV). La tecnología también puede aplicarse a entornos industriales, salud, robótica y otros campos.
La presentación ganadora también recibió el premio a la Innovación de CVPR, reconociendo el enfoque de NVIDIA para mejorar “cualquier modelo de conducción de extremo a extremo utilizando métricas proxy de bucle abierto aprendidas”.
Además, NVIDIA anunció **NVIDIA Omniverse Cloud Sensor RTX**, un conjunto de microservicios que permiten la simulación de sensores físicamente precisa para acelerar el desarrollo de máquinas completamente autónomas de todo tipo.
Cómo funciona la conducción de extremo a extremo
La carrera para desarrollar automóviles autónomos no es un sprint, sino más bien un triatlón interminable, con tres partes distintas pero esenciales que operan simultáneamente: entrenamiento de IA, simulación y conducción autónoma. Cada una de estas requiere su propia plataforma de computación acelerada, y juntas, los sistemas de pila completa diseñados específicamente para estos pasos forman una poderosa tríada que permite ciclos de desarrollo continuo, **mejorando siempre en cuanto a rendimiento y seguridad**.
Para lograr esto, primero se entrena un modelo en una supercomputadora de IA como **NVIDIA DGX**. Luego se prueba y valida en simulación utilizando la plataforma **NVIDIA Omniverse** y ejecutándola en un sistema **NVIDIA OVX** antes de ingresar al vehículo, donde, finalmente, la plataforma **NVIDIA DRIVE AGX** procesa los datos del sensor a través del modelo en tiempo real.
Construir un sistema autónomo que navegue con seguridad en el complejo mundo físico es extremadamente desafiante. El sistema necesita **percibir y entender su entorno de manera holística**, luego **tomar decisiones correctas y seguras en una fracción de segundo**. Esto requiere una **conciencia situacional similar a la humana** para manejar escenarios potencialmente peligrosos o raros.
El desarrollo de software AV tradicionalmente se ha basado en un enfoque modular, con componentes separados para detección y seguimiento de objetos, predicción de trayectorias, y planificación y control de rutas.
Los sistemas de conducción autónoma de extremo a extremo simplifican este proceso utilizando un modelo unificado para recibir entradas de sensores y producir trayectorias de vehículos, ayudando a evitar tuberías demasiado complicadas y proporcionando un enfoque más holístico y basado en datos para manejar escenarios del mundo real.
Mira un video sobre el modelo Hydra-MDP, ganador del Gran Desafío Autónomo de CVPR para la Conducción de Extremo a Extremo:
Navegando el Gran Desafío
El desafío de este año en CVPR pidió a los participantes desarrollar un modelo AV de extremo a extremo, entrenado con el conjunto de datos nuPlan, para generar una trayectoria de conducción basada en datos de sensores.
Los modelos se enviaron para probarse dentro del simulador de código abierto NAVSIM y se les encargó **navegar por miles de escenarios que no habían experimentado aún**. El rendimiento del modelo se calificó en función de métricas de seguridad, comodidad del pasajero y desviación de la trayectoria registrada original.
El **modelo ganador de extremo a extremo de NVIDIA Research** ingiere datos de cámara y lidar, así como el historial de trayectoria del vehículo, para generar una trayectoria segura y óptima del vehículo durante cinco segundos después de la entrada del sensor.
El flujo de trabajo que utilizaron los investigadores de NVIDIA para ganar la competencia puede replicarse en **entornos simulados de alta fidelidad con NVIDIA Omniverse**. Esto significa que los desarrolladores de simulación AV pueden recrear el flujo de trabajo en un entorno físicamente preciso antes de probar sus AV en el mundo real. **Los microservicios NVIDIA Omniverse Cloud Sensor RTX estarán disponibles más adelante este año**.
Además, NVIDIA se clasificó en segundo lugar por su presentación en el Gran Desafío Autónomo de CVPR para **conducción con lenguaje**. El enfoque de NVIDIA conecta modelos de lenguaje de visión y sistemas de conducción autónoma, integrando el poder de **modelos de lenguaje de gran escala** para ayudar a tomar decisiones y lograr un comportamiento de conducción generalizable y explicable.
Más información en CVPR
Más de **50 artículos de NVIDIA** fueron aceptados en CVPR de este año, en temas que abarcan automoción, salud, robótica y más. Más de una docena de artículos cubrirán la investigación relacionada con la automoción de NVIDIA, incluyendo:
Sanja Fidler, vicepresidenta de investigación de IA en NVIDIA, hablará sobre modelos de lenguaje de visión en el **taller sobre conducción autónoma** de CVPR.
Obtenga más información sobre NVIDIA Research, un equipo global de cientos de científicos e ingenieros centrados en temas que incluyen IA, gráficos por computadora, visión por computadora, automóviles autónomos y robótica.
