Mistral AI y NVIDIA lanzaron un nuevo modelo de lenguaje de última generación, Mistral NeMo 12B, que los desarrolladores pueden personalizar y desplegar fácilmente para aplicaciones empresariales que incluyen chatbots, tareas multilingües, codificación y resumen.
Al combinar la experiencia de Mistral AI en datos de entrenamiento con el hardware y el ecosistema de software optimizado de NVIDIA, el modelo Mistral NeMo ofrece un alto rendimiento para aplicaciones diversas.
“Somos afortunados de colaborar con el equipo de NVIDIA, aprovechando su hardware y software de primera categoría,” dijo Guillaume Lample, cofundador y científico jefe de Mistral AI. “Juntos, hemos desarrollado un modelo con precisión, flexibilidad, alta eficiencia, y soporte y seguridad de nivel empresarial gracias al despliegue de NVIDIA AI Enterprise.”
Mistral NeMo se entrenó en la plataforma AI NVIDIA DGX Cloud, que ofrece acceso dedicado y escalable a la última arquitectura de NVIDIA.
NVIDIA TensorRT-LLM y NVIDIA NeMo para optimización avanzada
Para mejorar y optimizar el proceso, también se utilizaron NVIDIA TensorRT-LLM para un rendimiento de inferencia acelerado en modelos de lenguaje grandes y la plataforma de desarrollo NVIDIA NeMo para construir modelos de IA generativa personalizados.
Esta colaboración subraya el compromiso de NVIDIA de apoyar el ecosistema de constructores de modelos.
Ofreciendo precisión, flexibilidad y eficiencia sin precedentes
Destacándose en conversaciones de múltiples turnos, matemáticas, razonamiento de sentido común, conocimiento del mundo y codificación, este modelo de IA de nivel empresarial ofrece un rendimiento preciso y confiable en tareas diversas.
Con una longitud de contexto de 128K, Mistral NeMo procesa información extensa y compleja de manera más coherente y precisa, asegurando salidas contextualmente relevantes.
El modelo, lanzado bajo la licencia Apache 2.0, fomenta la innovación y respalda a la comunidad de IA en general. Con 12 mil millones de parámetros, el modelo utiliza el formato de datos FP8 para la inferencia, reduciendo el tamaño de la memoria y acelerando el despliegue sin degradar la precisión.
Esto significa que el modelo aprende mejor las tareas y maneja escenarios diversos más eficazmente, haciéndolo ideal para casos de uso empresarial.
Fácil despliegue y alta flexibilidad
Mistral NeMo viene empaquetado como un microservicio de inferencia NVIDIA NIM, que ofrece una inferencia optimizada para el rendimiento con motores NVIDIA TensorRT-LLM.
Este formato contenerizado permite un fácil despliegue en cualquier lugar, proporcionando una mayor flexibilidad para diversas aplicaciones.
Como resultado, los modelos se pueden desplegar en cuestión de minutos, en lugar de varios días.
NIM presenta software de nivel empresarial que forma parte de NVIDIA AI Enterprise, con ramas de características dedicadas, rigurosos procesos de validación y soporte y seguridad de nivel empresarial.
Incluye soporte integral, acceso directo a un experto en IA de NVIDIA y acuerdos de nivel de servicio definidos, proporcionando un rendimiento confiable y consistente.
La licencia de modelo abierto permite a las empresas integrar Mistral NeMo en aplicaciones comerciales sin problemas.
Alta eficiencia y seguridad mejorada
Diseñado para caber en la memoria de una única NVIDIA L40S, NVIDIA GeForce RTX 4090 o NVIDIA RTX 4500 GPU, el Mistral NeMo NIM ofrece alta eficiencia, bajo costo de cómputo y una mayor seguridad y privacidad.
Desarrollo y personalización avanzada del modelo
La experiencia combinada de los ingenieros de Mistral AI y NVIDIA ha optimizado el entrenamiento y la inferencia para Mistral NeMo.
Entrenado con la experiencia de Mistral AI, especialmente en multilingüismo, código y contenido de múltiples turnos, el modelo se beneficia del entrenamiento acelerado en la pila completa de NVIDIA.
Está diseñado para un rendimiento óptimo, utilizando técnicas eficientes de paralelismo de modelo, escalabilidad y precisión mixta con Megatron-LM.
El modelo fue entrenado utilizando Megatron-LM, parte de NVIDIA NeMo, con 3,072 GPUs H100 80GB Tensor Core en DGX Cloud, compuesta por la arquitectura de NVIDIA AI, que incluye computación acelerada, tejido de red y software para aumentar la eficiencia del entrenamiento.
Disponibilidad y despliegue
Con la flexibilidad para ejecutarse en cualquier lugar —nube, centro de datos o estación de trabajo RTX—, Mistral NeMo está listo para revolucionar las aplicaciones de IA en diversas plataformas.
Experimenta Mistral NeMo como un NIM de NVIDIA hoy mismo.
Consulta el aviso sobre la información del producto de software.
