Una de las comunidades de inteligencia artificial más grandes del mundo, compuesta por 4 millones de desarrolladores en la plataforma Hugging Face, logró obtener un acceso sencillo a la inferencia acelerada por NVIDIA en algunos de los modelos de IA más populares.
Nuevas capacidades de inferencia como servicio
Las nuevas capacidades de inferencias como servicio permitirán a los desarrolladores implementar rápidamente modelos de inteligencia artificial generativos como la familia Llama 3 y los modelos de Mistral AI, optimizados a través de microservicios NVIDIA NIM que operan en NVIDIA DGX Cloud.
Prototipado rápido con modelos de código abierto
Anunciado en la conferencia SIGGRAPH, el servicio ayudará a los desarrolladores a crear rápidamente prototipos con modelos de IA de código abierto alojados en el Hugging Face Hub y desplegarlos en un entorno de producción. Los usuarios del Enterprise Hub pueden acceder a inferencias sin servidor, lo que proporciona mayor flexibilidad, un mínimo costo de infraestructura y un rendimiento optimizado con NVIDIA NIM.
El servicio de inferencia complementa Train on DGX Cloud, un servicio de entrenamiento en inteligencia artificial ya disponible en Hugging Face.
Acceso a modelos de código abierto
Los desarrolladores que enfrentan un número creciente de modelos de código abierto pueden beneficiarse de un hub donde pueden comparar fácilmente opciones. Estas herramientas de entrenamiento e inferencia brindan a los desarrolladores de Hugging Face nuevas formas de experimentar, probar y desplegar modelos avanzados en una infraestructura acelerada por NVIDIA. Se facilitarán mediante los menús desplegables «Train» y «Deploy» en las tarjetas de modelos de Hugging Face, permitiendo a los usuarios comenzar con solo unos pocos clics.
Beneficios significativos de NVIDIA NIM
NVIDIA NIM es un conjunto de microservicios de inteligencia artificial, que incluye modelos de fundación NVIDIA AI y modelos de la comunidad de código abierto, optimizados para la inferencia utilizando interfaces de programación de aplicaciones estándar de la industria, o APIs.
NIM ofrece a los usuarios una mayor eficiencia en el procesamiento de tokens — las unidades de datos utilizadas y generadas por un modelo de lenguaje. Los microservicios optimizados también mejoran la eficiencia de la infraestructura subyacente de NVIDIA DGX Cloud, lo que puede aumentar la velocidad de aplicaciones de IA importantes.
Esto significa que los desarrolladores observaron resultados más rápidos y robustos de un modelo de IA accesible como NIM en comparación con otras versiones del modelo. Por ejemplo, la versión de 70 mil millones de parámetros de Llama 3 proporciona hasta 5 veces más rendimiento al accederse como NIM en comparación con implementaciones convencionales en sistemas impulsados por NVIDIA H100 Tensor Core GPU.
Acceso inmediato a DGX Cloud
La plataforma NVIDIA DGX Cloud está diseñada específicamente para IA generativa, brindando a los desarrolladores un acceso fácil a una infraestructura de computación acelerada confiable que puede ayudarles a llevar aplicaciones listas para producción al mercado más rápido.
La plataforma proporciona recursos de GPU escalables que apoyan cada etapa del desarrollo de IA, desde el prototipo hasta la producción, sin que los desarrolladores tengan que hacer compromisos a largo plazo en infraestructura de IA.
La inferencia como servicio de Hugging Face en NVIDIA DGX Cloud, impulsada por microservicios NIM, ofrece acceso sencillo a recursos de computación optimizados para el despliegue de IA, permitiendo a los usuarios experimentar con los últimos modelos de IA en un entorno empresarial de alta calidad.
Novedades sobre NVIDIA NIM
En SIGGRAPH, NVIDIA también presentó modelos de IA generativa y microservicios NIM para el marco OpenUSD, con el fin de acelerar la capacidad de los desarrolladores para construir mundos virtuales altamente precisos para la próxima evolución de la inteligencia artificial.
Para conocer más sobre más de 100 microservicios NVIDIA NIM con aplicaciones en diversas industrias, se puede acceder al sitio oficial de NVIDIA.
