Namaste, vanakkam, sat sri akaal: estas son solo tres formas de saludo en India, un país con 22 idiomas reconocidos constitucionalmente y más de 1,500 registrados por el censo del país. Aproximadamente el 10% de sus residentes habla inglés, el idioma más común en internet.
Desarrollo de IA en India
A medida que India, el país más poblado del mundo, avanza rápidamente en sus esfuerzos de digitalización, sus empresas y startups locales están desarrollando modelos de IA multilingües que permiten a más indios interactuar con la tecnología en su idioma principal. Se trata de un estudio de caso sobre IA soberana: el desarrollo de infraestructuras de IA domésticas construidas sobre conjuntos de datos locales que reflejan los dialectos, culturas y prácticas específicas de la región.
Estos proyectos están creando modelos de lenguaje para idiomas indios y inglés que pueden potenciar agentes de IA de servicio al cliente para empresas, traducir rápidamente contenido para ampliar el acceso a la información y permitir que los servicios lleguen más fácilmente a una población diversa de más de 1.4 mil millones de individuos.
Para apoyar estas iniciativas, NVIDIA ha lanzado un pequeño modelo de lenguaje para hindi, el idioma más prevalente de India con más de 500 millones de hablantes. Ahora disponible como un microservicio de NVIDIA NIM, el modelo, llamado Nemotron-4-Mini-Hindi-4B, puede implementarse fácilmente en cualquier sistema acelerado por GPU de NVIDIA para un rendimiento optimizado.
Tech Mahindra, una empresa india de servicios de TI y consultoría, fue la primera en usar el microservicio NIM de Nemotron Hindi para desarrollar un modelo de IA llamado Indus 2.0, enfocado en el hindi y docenas de sus dialectos. Indus 2.0 aprovecha los datos de alta calidad de ajuste fino de Tech Mahindra para aumentar aún más la precisión del modelo, lo que desbloquea oportunidades para clientes en los sectores de banca, educación, atención médica y otras industrias para ofrecer servicios localizados.
Tech Mahindra iba a presentar Indus 2.0 en el NVIDIA AI Summit, que tuvo lugar del 23 al 25 de octubre en Mumbai. La empresa también usa NVIDIA NeMo para desarrollar su plataforma de modelos de lenguaje grande (LLM) soberana, TeNo.
NVIDIA NIM facilita la adopción de IA para el hindi
El modelo Nemotron para hindi cuenta con 4 mil millones de parámetros y se deriva de Nemotron-4 15B, un modelo de lenguaje multilingüe con 15 mil millones de parámetros desarrollado por NVIDIA. El modelo fue podado, destilado y entrenado con una combinación de datos de hindi del mundo real, datos sintéticos de hindi y una cantidad equivalente de datos en inglés utilizando NVIDIA NeMo, un marco y conjunto de microservicios nativo en la nube para desarrollar IA generativa.
El conjunto de datos fue creado con NVIDIA NeMo Curator, que mejora la precisión de los modelos de IA generativa procesando datos multimodales de alta calidad a gran escala para su entrenamiento y personalización. NeMo Curator utiliza bibliotecas de NVIDIA RAPIDS para acelerar las canalizaciones de procesamiento de datos en sistemas de GPU multinodo, reduciendo así el tiempo de procesamiento y el costo total de propiedad. También proporciona canalizaciones preconstruidas y bloques de construcción para la generación de datos sintéticos, filtrado de datos, clasificación y desduplicación para procesar datos de alta calidad.
Después del ajuste fino con NeMo, el modelo final lidera en múltiples métricas de precisión para modelos de IA con hasta 8 mil millones de parámetros. Empaquetado como un microservicio NIM, puede aprovecharse fácilmente para soportar casos de uso en industrias como educación, venta al por menor y atención médica.
Está disponible como parte de la plataforma de software NVIDIA AI Enterprise, que proporciona a las empresas acceso a recursos adicionales, incluyendo soporte técnico y seguridad de nivel empresarial, para agilizar el desarrollo de IA en entornos de producción.
Variedad de empresas atiende a una población multilingüe
Innovadores, grandes empresas y grandes integradores de sistemas a nivel global en India están construyendo modelos de lenguaje personalizados utilizando NVIDIA NeMo.
Las empresas en el programa NVIDIA Inception para startups innovadoras están utilizando NeMo para desarrollar modelos de IA para varios idiomas indios.
Sarvam AI ofrece a sus clientes empresariales modelos de conversión de voz a texto, conversión de texto a voz, traducción y análisis de datos. La compañía desarrolló Sarvam 1, el primer LLM multilingüe autóctono de India, que se entrenó desde cero en infraestructura de IA doméstica aprovechada por los GPU NVIDIA H100 Tensor Core.
Sarvam 1, desarrollado con el software NVIDIA AI Enterprise, incluyendo NeMo Curator y NeMo Framework, admite inglés y 10 idiomas indios principales, incluyendo bengalí, marathi, tamil y telugu.
Sarvam AI también utiliza microservicios de NVIDIA NIM, NVIDIA Riva para IA conversacional, NVIDIA TensorRT-LLM y NVIDIA Triton Inference Server para optimizar y desplegar agentes de IA conversacional con latencia de menos de un segundo.
Otra startup del programa Inception, Gnani.ai, creó un LLM multilingüe de voz a voz que potencia asistentes de servicio al cliente de IA, que manejan alrededor de 10 millones de interacciones de voz en tiempo real diariamente para más de 150 empresas de banca, seguros y servicios financieros en India y EE. UU. El modelo admite 14 idiomas y se entrenó con más de 14 millones de horas de datos de conversación utilizando GPU NVIDIA Hopper y NeMo Framework.
Gnani.ai utiliza TensorRT-LLM, Triton Inference Server y microservicios Riva NIM para optimizar su IA para asistentes virtuales de servicio al cliente y análisis de voz.
Grandes empresas que construyen LLM con NeMo incluyen:
Los principales integradores de sistemas globales de India también ofrecen soluciones aceleradas por NVIDIA NeMo a sus clientes.
Wipro y TCS también utilizan las canalizaciones de generación de datos sintéticos de NeMo Curator para generar datos en idiomas distintos al inglés para personalizar los LLM para sus clientes.
