Over the next two decades, el mercado de los robots humanoides se esperaba que alcanzara los $38 mil millones. Para abordar esta importante demanda, especialmente en los sectores industrial y de manufactura, NVIDIA lanzó una colección de modelos fundamentales de robots, canalizaciones de datos y marcos de simulación para acelerar los esfuerzos de desarrollo de la próxima generación de robots humanoides.
NVIDIA Isaac GR00T para generación de movimiento sintético
Anunciado por el fundador y CEO de NVIDIA, Jensen Huang, en una feria comercial, el NVIDIA Isaac GR00T Blueprint para generación de movimiento sintético ayuda a los desarrolladores a generar grandes volúmenes de datos de movimiento sintético para entrenar a sus humanoides mediante el aprendizaje por imitación.
El aprendizaje por imitación, un subconjunto del aprendizaje de robots, permite a los humanoides adquirir nuevas habilidades observando y imitando demostraciones de expertos humanos. La recopilación de estos extensos conjuntos de datos de alta calidad en el mundo real resulta tediosa, requiere mucho tiempo y a menudo es prohibitivamente costosa. La implementación del Isaac GR00T Blueprint para generación de movimiento sintético permite a los desarrolladores crear fácilmente conjuntos de datos sintéticos de gran tamaño a partir de un número reducido de demostraciones humanas.
Pipelines de trabajo de GR00T
Comenzando con el flujo de trabajo GR00T-Teleop, los usuarios pueden aprovechar el Apple Vision Pro para capturar acciones humanas en un doppelgänger digital. Estas acciones humanas son imitadas por un robot en simulación y registradas como base de verdad.
El flujo de trabajo GR00T-Mimic multiplica las demostraciones humanas capturadas en un conjunto de datos de movimiento sintético más amplio. Finalmente, el flujo de trabajo GR00T-Gen, construido sobre las plataformas NVIDIA Omniverse y NVIDIA Cosmos, expande exponencialmente este conjunto de datos a través de la aleatorización de dominios y el escalado en 3D.
El conjunto de datos puede ser utilizado como entrada para la política del robot, la cual enseña a los robots cómo moverse e interactuar con su entorno de manera efectiva y segura en NVIDIA Isaac Lab, un marco modular y de código abierto para el aprendizaje de robots.
Modelos fundamentales del mundo reducen la brecha entre simulación y realidad
NVIDIA también presentó Cosmos, una plataforma que incluye una familia de modelos fundamentales para el mundo, preentrenados y diseñados para generar videos y estados del mundo con conciencia física para el desarrollo de IA física. Incluye modelos autoregresivos y de difusión en varios tamaños y formatos de datos de entrada. Los modelos fueron entrenados en 18 cuatrillones de tokens, incluyendo 2 millones de horas de conducción autónoma, robótica, imágenes de drones y datos sintéticos.
Además de ayudar a generar grandes conjuntos de datos, Cosmos puede reducir la brecha entre la simulación y la realidad al escalar imágenes de 3D a real. La combinación de Omniverse, una plataforma de desarrollo de interfaces de programación de aplicaciones y microservicios para construir aplicaciones y servicios en 3D, con Cosmos es fundamental, ya que minimiza las posibles ilusiones comúnmente asociadas con los modelos del mundo al proporcionar salvaguardas a través de sus simulaciones físicamente precisas.
Un ecosistema en expansión
Colectivamente, NVIDIA Isaac GR00T, Omniverse y Cosmos ayudan a que la innovación en IA física y en humanoides avance de manera significativa. Empresas importantes en el ámbito de la robótica han comenzado a adoptar y demostrar resultados con Isaac GR00T, incluyendo Boston Dynamics y Figure.
Los fabricantes de software, hardware y robots humanoides pueden solicitar acceso anticipado al programa para desarrolladores de robots humanoides de NVIDIA.
