Robots con Inteligencia Artificial Avanzan con Nuevas Herramientas de NVIDIA
Desarrolladores de robótica pueden acelerar significativamente su trabajo en robots habilitados para inteligencia artificial, incluyendo humanos, usando nuevas herramientas y flujos de trabajo de simulación que NVIDIA presentó en una conferencia reciente.
Acelerando el desarrollo de robots con Isaac Lab
NVIDIA Isaac Lab es un marco de aprendizaje de robots de código abierto construido sobre NVIDIA Omniverse, una plataforma para desarrollar aplicaciones OpenUSD para digitalización industrial y simulación de IA física.
Los desarrolladores pueden utilizar Isaac Lab para entrenar políticas robóticas a gran escala. Este marco de aprendizaje unificado se aplica a cualquier forma, desde humanos hasta cuadrúpedos y robots colaborativos, para manejar movimientos e interacciones cada vez más complejas.
Fabricantes de robots comerciales, desarrolladores de aplicaciones de robótica e instituciones de investigación a nivel mundial están adoptando Isaac Lab, incluyendo 1X, Agility Robotics, The AI Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics y XPENG Robotics.
Project GR00T: Fundamentos para robots humanoides de propósito general
Construir humanoides avanzados es extremadamente difícil, ya que requiere enfoques tecnológicos y interdisciplinarios multilaterales para hacer que los robots perciban, se muevan y aprendan habilidades de manera efectiva en interacciones humano-robot y robot-entorno.
Project GR00T es una iniciativa para desarrollar bibliotecas aceleradas, modelos fundamentales y tuberías de datos que impulsen el ecosistema global de desarrolladores de robots humanoides.
Seis nuevos flujos de trabajo de Project GR00T proporcionan a los desarrolladores humanoides planos para realizar las capacidades de robots humanoides más desafiantes. Estos incluyen:
- GR00T-Gen para construir entornos 3D basados en IA generativa y OpenUSD
- GR00T-Mimic para generar movimiento y trayectoria de robots
- GR00T-Dexterity para la manipulación hábil de robots
- GR00T-Control para el control del cuerpo completo
- GR00T-Mobility para la locomoción y navegación de robots
- GR00T-Perception para la percepción multimodal
Nuevas herramientas de desarrollo para constructores de modelos del mundo
Los desarrolladores de robots están construyendo modelos del mundo — representaciones de IA que pueden predecir cómo responden los objetos y entornos a las acciones de un robot. La construcción de estos modelos es increíblemente intensiva en computación y datos, requiriendo miles de horas de datos de imágenes o videos curados del mundo real.
Los tokenizadores de NVIDIA Cosmos proporcionan codificación y decodificación eficientes y de alta calidad para simplificar el desarrollo de estos modelos del mundo. Establecen un nuevo estándar de mínima distorsión e inestabilidad temporal, permitiendo reconstrucciones de video e imagen de alta calidad.
De acuerdo con Eric Jang, vicepresidente de IA en 1X Technologies, el tokenizador Cosmos logra una compresión temporal y espacial muy alta de los datos, al tiempo que mantiene la fidelidad visual.
Avanzando la comunidad de aprendizaje robótico en CoRL
El equipo de robótica de NVIDIA presentó varios artículos de investigación que cubren avances en la integración de modelos de lenguaje visual para mejorar la comprensión del entorno y la ejecución de tareas, navegación robótica temporal, desarrollo de estrategias de planificación a largo plazo para tareas complejas y uso de demostraciones humanas para la adquisición de habilidades.
Artículos innovadores para el control de robots humanoides y la generación de datos sintéticos incluyen SkillGen, un sistema basado en la generación de datos sintéticos para entrenar robots con mínimas demostraciones humanas, y HOVER, un modelo fundamental para controlar la locomoción y manipulación de robots humanoides.
Disponibilidad
NVIDIA Isaac Lab 1.2 está disponible ahora y es de código abierto. NeMo Curator para procesamiento de video estará disponible próximamente. Los nuevos flujos de trabajo del Proyecto GR00T llegarán pronto para ayudar a las empresas de robots a desarrollar capacidades humanoides de forma más sencilla.
Los investigadores y desarrolladores que deseen aprender a usar Isaac Lab ahora pueden acceder a guías y tutoriales para desarrolladores.
