Empresas y organizaciones del sector público de todo el mundo están desarrollando agentes de inteligencia artificial para potenciar las capacidades de las fuerzas laborales que dependen de información visual de un número creciente de dispositivos, incluidos cámaras, sensores IoT y vehículos. Para apoyar su trabajo, un nuevo NVIDIA AI Blueprint para la búsqueda y resumido de video permitirá a los desarrolladores en prácticamente cualquier industria construir agentes de IA visual que analicen contenido de video e imágenes. Estos agentes podrán responder preguntas de los usuarios, generar resúmenes y permitir alertas para escenarios específicos.
NVIDIA AI Blueprint: una herramienta personalizable
Como parte de NVIDIA Metropolis, un conjunto de herramientas para desarrolladores de aplicaciones de IA visual, el blueprint es un flujo de trabajo personalizable que combina tecnologías de visión por computadora y IA generativa de NVIDIA. Integradores globales de sistemas y proveedores de soluciones tecnológicas, incluidos Accenture, Dell Technologies y Lenovo, están llevando el NVIDIA AI Blueprint para búsqueda y resumido visual a empresas y ciudades de todo el mundo, impulsando la próxima ola de aplicaciones de IA que pueden implementarse para mejorar la productividad y la seguridad en fábricas, almacenes, tiendas, aeropuertos, intersecciones de tráfico y más.
Potenciando modelos de lenguaje visual
Los agentes de IA visual son impulsados por modelos de lenguaje visual (VLMs), una clase de modelos generativos de IA que combinan visión por computadora y comprensión del lenguaje para interpretar el mundo físico y realizar tareas de razonamiento. El NVIDIA AI Blueprint para búsqueda y resumido de video puede configurarse con microservicios NIM de NVIDIA para VLMs como NVIDIA VILA, LLMs como el Meta’s Llama 3.1 405B y modelos de IA para respuestas a preguntas aceleradas por GPU y generación de recuperación contextual. Los desarrolladores pueden intercambiar fácilmente otros VLMs, LLMs y bases de datos gráficas, y ajustarlas utilizando la plataforma NVIDIA NeMo para sus entornos y casos de uso únicos.
Ahorro de tiempo en el desarrollo
Adoptar el NVIDIA AI Blueprint podría haber ahorrado a los desarrolladores meses de esfuerzo en investigar y optimizar modelos de IA generativa para aplicaciones de ciudades inteligentes. Implementado en GPU de NVIDIA en el borde, en instalaciones o en la nube, puede acelerar considerablemente el proceso de revisión de archivos de video para identificar momentos clave. En un entorno de almacén, un agente de IA construido con este flujo de trabajo podría alertar a los trabajadores si se violan los protocolos de seguridad. En intersecciones concurridas, un agente de IA podría identificar colisiones de tráfico y generar informes para ayudar en los esfuerzos de respuesta a emergencias. Y en el ámbito de la infraestructura pública, los trabajadores de mantenimiento podrían pedir a los agentes de IA que revisen imágenes aéreas e identifiquen caminos, vías o puentes en deterioro para apoyar el mantenimiento proactivo.
Más allá de los espacios inteligentes
Más allá de los espacios inteligentes, los agentes de IA visual también podrían ser utilizados para resumir videos para personas con discapacidades visuales, generar automáticamente resúmenes de eventos deportivos y ayudar a etiquetar conjuntos de datos visuales masivos para entrenar otros modelos de IA. El flujo de trabajo de búsqueda y resumido de video se une a una colección de NVIDIA AI Blueprints que facilitan la creación de avatares digitales impulsados por IA, la construcción de asistentes virtuales para servicio al cliente personalizado y la extracción de información empresarial de datos en PDF.
NVIDIA AI Blueprints accesibles para desarrolladores
Los NVIDIA AI Blueprints son gratuitos para que los desarrolladores los experimenten y descarguen, y pueden implementarse en producción a través de centros de datos acelerados y nubes con NVIDIA AI Enterprise, una plataforma de software de extremo a extremo que acelera los procesos de ciencia de datos y simplifica el desarrollo y la implementación de IA generativa.
Colaboración con socios para soluciones personalizadas
Clientes del sector empresarial y público también pueden aprovechar toda la colección de NVIDIA AI Blueprints con la ayuda del ecosistema de socios de NVIDIA. La compañía de servicios profesionales Accenture ha integrado los NVIDIA AI Blueprints en su Accenture AI Refinery, que se basa en NVIDIA AI Foundry y permite a los clientes desarrollar modelos de IA personalizados entrenados en datos empresariales.
Integradores globales de sistemas en el sudeste asiático, incluidos ITMAX en Malasia y FPT en Vietnam, están construyendo agentes de IA basados en el NVIDIA AI Blueprint para aplicaciones de ciudades inteligentes y transporte inteligente. Los desarrolladores también pueden construir e implementar NVIDIA AI Blueprints en plataformas de IA de NVIDIA con computación, conectividad y software proporcionado por fabricantes de servidores globales. Dell usará enfoques de VLM y agentes con la plataforma NativeEdge de Dell para mejorar aplicaciones de IA existentes en el borde y crear nuevas capacidades habilitadas para IA en el borde.
Empresas como K2K, un proveedor de aplicaciones de ciudad inteligente en el ecosistema de NVIDIA Metropolis, usarán el nuevo NVIDIA AI Blueprint para construir agentes de IA que analicen cámaras de tráfico en vivo en tiempo real. Esto permitirá a los funcionarios de la ciudad hacer preguntas sobre la actividad en las calles y recibir recomendaciones sobre cómo mejorar las operaciones. La empresa también está trabajando con administradores de tráfico de la ciudad de Palermo, Italia, para implementar agentes de IA visual utilizando microservicios NIM y NVIDIA AI Blueprints.
