NVIDIA anunció que los 28 millones de desarrolladores del mundo ahora pueden descargar NVIDIA NIM™ — microservicios de inferencia que proporcionan modelos como contenedores optimizados — para desplegar en nubes, centros de datos o estaciones de trabajo, dándoles la capacidad de construir fácilmente aplicaciones de IA generativa para copilotos, chatbots y más, en minutos en lugar de semanas.

Aplicaciones de IA generativa más complejas

Estas nuevas aplicaciones de IA generativa se están volviendo cada vez más complejas y a menudo utilizan múltiples modelos con diferentes capacidades para generar texto, imágenes, video, voz y más. **NVIDIA NIM aumenta drásticamente la productividad de los desarrolladores** al proporcionar una forma simple y estandarizada de añadir IA generativa a sus aplicaciones.

Maximización de inversiones en infraestructura

NIM también permite a las empresas maximizar sus inversiones en infraestructura. Por ejemplo, ejecutar Meta Llama 3-8B en un NIM produce hasta 3 veces más tokens de IA generativa en infraestructura acelerada que sin NIM. Esto permite a las empresas **aumentar la eficiencia y utilizar la misma cantidad de infraestructura de cómputo para generar más respuestas**.

Integración con socios tecnológicos

Casi 200 socios tecnológicos — incluyendo Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI y Synopsys — están integrando NIM en sus plataformas para **acelerar los despliegues de IA generativa** para aplicaciones específicas del dominio, como copilotos, asistentes de código y avatares humanos digitales. Hugging Face ahora ofrece NIM, comenzando con Meta Llama 3.

Declaraciones de liderazgo

“Cada empresa busca añadir IA generativa a sus operaciones, pero no todas las empresas tienen un equipo dedicado de investigadores en IA,” dijo Jensen Huang, fundador y CEO de NVIDIA. “Integrado en plataformas en todas partes, accesible para desarrolladores en todas partes, funcionando en todas partes — **NVIDIA NIM está ayudando a la industria tecnológica a poner la IA generativa al alcance de todas las organizaciones**.”

Acceso y despliegue de NIM

Las empresas pueden desplegar aplicaciones de IA en producción con NIM a través de la plataforma de software NVIDIA AI Enterprise. A partir del próximo mes, los miembros del Programa de Desarrolladores de NVIDIA podrán acceder a NIM de forma gratuita para investigación, desarrollo y pruebas en su infraestructura preferida.

Microservicios NIM para modelos de IA en múltiples modalidades

Los contenedores NIM están pre-construidos para acelerar el despliegue de modelos para inferencia acelerada por GPU y pueden incluir el software NVIDIA CUDA®, NVIDIA Triton Inference Server™ y NVIDIA TensorRT-LLM. Más de 40 modelos de NVIDIA y la comunidad están disponibles como endpoints de NIM, incluyendo Databricks DBRX, el modelo abierto Gemma de Google, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B y Snowflake Arctic.

Disponibilidad para desarrolladores

Los desarrolladores ahora pueden acceder a los microservicios NIM de NVIDIA para los modelos Meta Llama 3 desde la plataforma de IA Hugging Face. Esto permite a los desarrolladores acceder y ejecutar fácilmente Llama 3 NIM con solo unos clics usando Hugging Face Inference Endpoints, impulsados por GPUs de NVIDIA en su nube preferida.

Aplicaciones empresariales con NIM

Las empresas pueden usar NIM para ejecutar aplicaciones que generen texto, imágenes y video, voz y humanos digitales. Con los microservicios NIM de NVIDIA BioNeMo™ para biología digital, los investigadores pueden construir nuevas estructuras de proteínas para **acelerar el descubrimiento de medicamentos**.

Despliegue de NIM en el sector salud

Decenas de empresas de salud están desplegando NIM para impulsar la inferencia de IA generativa en una variedad de aplicaciones, incluyendo la planificación quirúrgica, asistentes digitales, descubrimiento de medicamentos y optimización de ensayos clínicos.

Microservicios NIM para humanos digitales

Con los nuevos microservicios NIM de NVIDIA ACE, los desarrolladores pueden construir y operar fácilmente humanos digitales interactivos y realistas en aplicaciones para servicio al cliente, telesalud, educación, juegos y entretenimiento.

Socios del ecosistema de IA integrando NIM

Proveedores de plataformas como Canonical, Red Hat, Nutanix y VMware (adquirido por Broadcom) están apoyando NIM en soluciones de código abierto KServe o empresariales. Empresas de aplicaciones de IA como Hippocratic AI, Glean, Kinetica y Redis también están desplegando NIM para impulsar la inferencia de IA generativa.

Asociaciones con herramientas y plataformas de MLOps

Socios líderes de herramientas de IA y MLOps — incluyendo Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, Saturn Cloud, Securiti AI y Weights & Biases — también han integrado NIM en sus plataformas para permitir a los desarrolladores construir y desplegar aplicaciones de IA generativa específicas del dominio con inferencia optimizada.

Integración con integradores de sistemas y socios de servicios

Integradores de sistemas globales y socios de entrega de servicios como Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS y Wipro han creado competencias de NIM para ayudar a las empresas del mundo a desarrollar rápidamente estrategias de IA en producción.

Despliegue en sistemas certificados NVIDIA

Las empresas pueden ejecutar aplicaciones habilitadas para NIM prácticamente en cualquier lugar, incluidos sistemas certificados por NVIDIA de fabricantes de infraestructura global como Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo y Supermicro, así como fabricantes de servidores como ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron y Wiwynn. Los microservicios NIM también se han integrado en Amazon Web Services, Google Cloud, Azure y Oracle Cloud Infrastructure.

Uso de NIM por líderes industriales

Líderes de la industria como Foxconn, Pegatron, Amdocs, Lowe’s, ServiceNow y Siemens están utilizando NIM para aplicaciones de IA generativa en manufactura, salud, servicios financieros, comercio minorista, servicio al cliente y más:

• Foxconn — el mayor fabricante de electrónica del mundo — está utilizando NIM en el desarrollo de LLMs específicos del dominio integrados en una variedad de sistemas y procesos internos en sus fábricas de IA para manufactura inteligente, ciudades inteligentes y vehículos eléctricos inteligentes.
• Pegatron — una empresa taiwanesa de manufactura electrónica — está aprovechando NIM para el Proyecto TaME, un modelo Mixtral de Expertos de Taiwán diseñado para avanzar en el desarrollo de LLMs locales para industrias.
• Amdocs — un proveedor global líder de software y servicios para empresas de comunicaciones y medios — está utilizando NIM para ejecutar un LLM de facturación al cliente que reduce significativamente el costo de los tokens, mejora la precisión en hasta un 30% y reduce la latencia en un 80%, lo que permite respuestas casi en tiempo real.
• Lowe’s — una empresa de mejoras para el hogar clasificada en el FORTUNE® 50 — está utilizando IA generativa para una variedad de casos de uso. Por ejemplo, el minorista está aprovechando los microservicios de inferencia NVIDIA NIM para mejorar las experiencias de los asociados y clientes.
• ServiceNow — la plataforma de IA para la transformación empresarial — anunció a principios de este año que fue uno de los primeros proveedores de plataformas en acceder a NIM para habilitar el desarrollo y despliegue de LLMs de manera rápida, escalable y más rentable para sus clientes. Los microservicios NIM están integrados dentro del modelo multimodal Now AI y están disponibles para los clientes que tienen instalada la experiencia de IA generativa de ServiceNow, Now Assist.
• Siemens — una empresa global de tecnología centrada en la industria, la infraestructura, el transporte y la salud — está integrando su tecnología operacional con microservicios NIM para cargas de trabajo de IA en el piso de producción. También está construyendo una versión on-premises de su Copiloto Industrial para Operadores de Máquinas utilizando NIM.

Disponibilidad

Los desarrolladores pueden experimentar con los microservicios de NVIDIA en ai.nvidia.com de forma gratuita. Las empresas pueden desplegar microservicios NIM de grado de producción con **NVIDIA AI Enterprise** funcionando en sistemas certificados por NVIDIA y las principales plataformas en la nube. A partir del próximo mes, los miembros del Programa de Desarrolladores de NVIDIA obtendrán acceso gratuito a NIM para investigación y pruebas.

Ve el **discurso principal de Huang en COMPUTEX** para aprender más sobre NVIDIA NIM.