En ROSCon, uno de los eventos clave para desarrolladores de Robot Operating System (ROS), NVIDIA y sus socios del ecosistema de robótica anunciaron herramientas de IA generativa, simulación y flujos de trabajo de percepción para los desarrolladores de ROS.
La IA generativa llega a la comunidad ROS
ReMEmbR, desarrollado sobre ROS 2, utiliza IA generativa para mejorar el razonamiento y la acción robótica. Combina modelos de lenguaje grandes (LLMs), modelos de lenguaje visual (VLMs) y generación aumentada por recuperación para permitir a los robots construir y consultar recuerdos semánticos a largo plazo, mejorando su capacidad para navegar e interactuar con su entorno.
La capacidad de reconocimiento de voz está impulsada por el nodo WhisperTRT ROS 2. Este nodo utiliza NVIDIA TensorRT para optimizar el modelo Whisper de OpenAI, permitiendo inferencias de baja latencia en NVIDIA Jetson, lo que resulta en interacciones más rápidas entre humanos y robots.
El proyecto de robots ROS 2 con control de voz utiliza el servicio ASR-TTS de NVIDIA Riva para hacer que los robots comprendan y respondan a comandos hablados. Por su parte, el Laboratorio de Propulsión a Chorro de la NASA demostró de manera independiente ROSA, un agente potenciado por IA para ROS, operando en su robot Nebula-SPOT y el robot NVIDIA Nova Carter dentro de NVIDIA Isaac Sim.
En ROSCon, Canonical presentó NanoOWL, un modelo de detección de objetos en cero disparos funcionando sobre el sistema en módulo NVIDIA Jetson Orin Nano. Este modelo permite a los robots identificar una amplia gama de objetos en tiempo real, sin depender de categorías predefinidas.
Los desarrolladores pueden comenzar hoy con ROS 2 Nodes for Generative AI, que proporciona LLMs y VLMs optimizados para NVIDIA Jetson para mejorar las capacidades de los robots.
Mejorando los flujos de trabajo de ROS con un enfoque ‘sim-first’
La simulación es vital para probar y validar de manera segura los robots habilitados por IA antes de su implementación. NVIDIA Isaac Sim, una plataforma de simulación robótica basada en OpenUSD, ofrece a los desarrolladores de ROS un entorno virtual para probar robots conectándolos fácilmente a sus paquetes de ROS. Se encuentra disponible una nueva Guía para principiantes sobre los flujos de trabajo de ROS 2 con Isaac Sim, que ilustra el flujo de trabajo completo para la simulación y prueba de robots.
Foxglove, miembro del programa NVIDIA Inception para startups, demostró una integración que ayuda a los desarrolladores a visualizar y depurar datos de simulación en tiempo real utilizando la extensión personalizada de Foxglove, construida sobre Isaac Sim.
Nuevas capacidades para Isaac ROS 3.2
NVIDIA Isaac ROS, construido sobre el marco de software de código abierto ROS 2, es un conjunto de paquetes de computación acelerada y modelos de IA para el desarrollo robótico. La próxima versión 3.2 mejora la percepción robótica, la manipulación y la cartografía del entorno.
Entre las mejoras clave se encuentra NVIDIA Isaac Manipulator, que incluye nuevos flujos de trabajo de referencia que integran FoundationPose y cuMotion para acelerar el desarrollo de pipelines de captura y colocación y seguimiento de objetos en robótica.
Otro avance se presenta en NVIDIA Isaac Perceptor, que cuenta con un nuevo flujo de trabajo de referencia de SLAM visual, detección mejorada de múltiples cámaras y reconstrucción 3D para mejorar la conciencia medioambiental y el rendimiento de robots móviles autónomos (AMR) en entornos dinámicos como almacenes.
Socios que adoptan NVIDIA Isaac
Las empresas de robótica están integrando las bibliotecas aceleradas y los modelos de IA de NVIDIA Isaac en sus plataformas.
- Universal Robots, una empresa de Teradyne Robotics, lanzó un nuevo conjunto de herramientas AI Accelerator para permitir el desarrollo de aplicaciones de cobots alimentados por IA.
- Miso Robotics utiliza Isaac ROS para acelerar su estación Flippy Fry, un robot para la fabricación de papas fritas, impulsando mejoras en eficiencia y precisión en la automatización del servicio de alimentos.
- Wheel.me se asoció con RGo Robotics y NVIDIA para crear un AMR listo para producción utilizando Isaac Perceptor.
- Main Street Autonomy utiliza Isaac Perceptor para optimizar la calibración de sensores.
- Orbbec anunció su kit de desarrollo Perceptor, una solución AMR lista para usar para Isaac Perceptor.
- LIPS Corporation presentó un kit de desarrollo de percepción multi-cámara para mejorar la navegación de AMR.
- Canonical destacó un entorno de Ubuntu totalmente certificado para desarrolladores de ROS, ofreciendo soporte a largo plazo desde el inicio.
Conexiones con socios en ROSCon
Los miembros y socios de la comunidad ROS, incluyendo a Canonical, Ekumen, Foxglove, Intrinsic, Open Navigation, Siemens y Teradyne Robotics, están presentes para ofrecer talleres, charlas, demostraciones en sus stands y sesiones. Algunos de los puntos destacados son:
- “Encuentro de usuarios de Nav2” con Steve Macenski de Open Navigation LLC
- “ROS en Automatización de Fábricas a Gran Escala” con Michael Gentner de BMW AG y Carsten Braunroth de Siemens AG
- “Integrando IA en Flujos de Trabajo de Manipulación Robótica” con Kalyan Vadrevu de NVIDIA
- “Acelerando el Aprendizaje de Robots a Escala en Simulación” con Markus Wuensch de NVIDIA
- “Sobre el uso de Nav2 para Acoplamiento” con Macenski de Open Navigation
Adicionalmente, Teradyne Robotics y NVIDIA coorganizaron un almuerzo y una recepción nocturna en ROSCon.
La Open Source Robotics Foundation (OSRF) organiza ROSCon. NVIDIA es un apoyo para Open Robotics, la organización paraguas para OSRF y todas sus iniciativas.
