Desplegar IA generativa en la empresa está a punto de ser más fácil que nunca.

NVIDIA NIM, un conjunto de microservicios de inferencia de IA generativa, funcionará con KServe, software de código abierto que automatiza la puesta en marcha de modelos de IA a la escala de una aplicación de computación en la nube.

La combinación asegura que la IA generativa pueda desplegarse como cualquier otra aplicación empresarial grande. También hace que NIM esté ampliamente disponible a través de plataformas de docenas de empresas, como Canonical, Nutanix y Red Hat.

La integración de NIM en KServe extiende las tecnologías de NVIDIA a la comunidad de código abierto, socios del ecosistema y clientes. A través de NIM, todos ellos pueden acceder al rendimiento, soporte y seguridad de la plataforma de software NVIDIA AI Enterprise con una llamada de API, el botón de modernidad de la programación.

sirviendo IA en Kubernetes

KServe comenzó como parte de Kubeflow, un kit de herramientas de aprendizaje automático basado en Kubernetes, el sistema de código abierto para desplegar y gestionar contenedores de software que contienen todos los componentes de grandes aplicaciones distribuidas.

Con la expansión de Kubeflow en el trabajo de inferencia de IA, lo que se convirtió en KServe nació y finalmente evolucionó en su propio proyecto de código abierto.

Muchas empresas han contribuido y adoptado el software KServe que hoy en día corre en empresas como AWS, Bloomberg, Canonical, Cisco, Hewlett Packard Enterprise, IBM, Red Hat, Zillow y NVIDIA.

bajo el capó con KServe

KServe es esencialmente una extensión de Kubernetes que ejecuta inferencia de IA como una potente aplicación en la nube. Utiliza un protocolo estándar, corre con un rendimiento optimizado y soporta PyTorch, Scikit-learn, TensorFlow y XGBoost sin que los usuarios necesiten conocer los detalles de esos marcos de trabajo de IA.

El software es especialmente útil hoy en día, cuando nuevos modelos de lenguaje grande (LLMs) están emergiendo rápidamente.

KServe permite a los usuarios cambiar fácilmente de un modelo a otro, probando cuál se adapta mejor a sus necesidades. Y cuando se libera una versión actualizada de un modelo, una función de KServe llamada “implementaciones canarias” automatiza la tarea de validar cuidadosamente y desplegar gradualmente en producción.

Otra característica, el escalado automático de GPU, gestiona eficientemente cómo se despliegan los modelos a medida que la demanda de un servicio aumenta y disminuye, de modo que los clientes y proveedores de servicios tienen la mejor experiencia posible.

una llamada de API a la IA generativa

La calidad de KServe ahora estará disponible con la simplicidad de NVIDIA NIM.

Con NIM, una simple llamada de API se encarga de todas las complejidades. Los administradores de TI de empresas obtienen las métricas que necesitan para asegurar que su aplicación está funcionando con rendimiento y eficiencia óptimos, ya sea en su centro de datos o en un servicio de nube remota — incluso si cambian los modelos de IA que están utilizando.

NIM permite a los profesionales de TI convertirse en expertos en IA generativa, transformando las operaciones de su empresa. Es por eso que una multitud de empresas como Foxconn y ServiceNow están desplegando microservicios NIM.

NIM se ejecuta en docenas de plataformas Kubernetes

Gracias a su integración con KServe, los usuarios podrán acceder a NIM en docenas de plataformas empresariales como Charmed KubeFlow y Charmed Kubernetes de Canonical, Nutanix GPT-in-a-Box 2.0, OpenShift AI de Red Hat y muchas otras.

“Red Hat ha estado trabajando con NVIDIA para facilitar más que nunca a las empresas el despliegue de IA utilizando tecnologías de código abierto”, dijo Yuan Tang, colaborador de KServe y principal ingeniero de software en Red Hat. “Al mejorar KServe y agregar soporte para NIM en Red Hat OpenShift AI, podemos proporcionar acceso simplificado a la plataforma de IA generativa de NVIDIA para los clientes de Red Hat.”

“Con la integración de los microservicios de inferencia NIM de NVIDIA con Nutanix GPT-in-a-Box 2.0, los clientes podrán construir aplicaciones de IA generativa escalables, seguras y de alto rendimiento de manera consistente, desde la nube hasta el borde,” dijo Debojyoti Dutta, vicepresidente de ingeniería en Nutanix, cuyo equipo contribuye a KServe y Kubeflow.

“Como empresa que también contribuye significativamente a KServe, nos complace ofrecer NIM a través de Charmed Kubernetes y Charmed Kubeflow,” dijo Andreea Munteanu, gerente de producto de MLOps en Canonical. “Los usuarios podrán acceder al máximo poder de la IA generativa, con el mayor rendimiento, eficiencia y facilidad gracias a la combinación de nuestros esfuerzos.”

Dozens of other software providers can feel the benefits of NIM simply because they include KServe in their offerings.

sirviendo a la comunidad de código abierto

NVIDIA tiene un largo historial en el proyecto KServe. KServe’s Open Inference Protocol es usado en el NVIDIA Triton Inference Server, que ayuda a los usuarios a ejecutar muchos modelos de IA simultáneamente en muchas GPUs, marcos de trabajo y modos de operación.

Con KServe, NVIDIA se concentra en casos de uso que implican ejecutar un modelo de IA a la vez a través de muchas GPUs.

Como parte de la integración de NIM, NVIDIA planea ser un contribuidor activo a KServe, basándose en su portafolio de contribuciones al software de código abierto que incluye Triton y TensorRT-LLM. NVIDIA también es un miembro activo de la Cloud Native Computing Foundation, que apoya el código abierto para IA generativa y otros proyectos.

Hundreds of NVIDIA partners worldwide are using NIM to deploy generative AI.