NVIDIA anunció hoy Nemotron-4 340B, una familia de modelos abiertos que los desarrolladores pueden usar para generar datos sintéticos para entrenar grandes modelos de lenguaje (LLM) para aplicaciones comerciales en salud, finanzas, manufactura, retail y todas las demás industrias.

El papel fundamental de los datos de alta calidad en el entrenamiento de LLMs

Los datos de entrenamiento de alta calidad juegan un papel fundamental en el rendimiento, la precisión y la calidad de las respuestas de un LLM personalizado. Sin embargo, obtener conjuntos de datos robustos puede ser prohibitivamente costoso y difícil de acceder.

Generación de datos sintéticos escalable y gratuita

A través de una licencia de modelo abierta exclusiva, Nemotron-4 340B ofrece a los desarrolladores una manera escalable y gratuita de generar datos sintéticos que pueden ayudar a construir potentes LLMs. La familia Nemotron-4 340B incluye modelos base, instruct y reward que forman una línea de producción para generar datos sintéticos utilizados en el entrenamiento y refinamiento de LLMs. Los modelos están optimizados para trabajar con NVIDIA NeMo, un marco de código abierto para el entrenamiento de modelos de punta a punta, que incluye curación de datos, personalización y evaluación. También están optimizados para la inferencia con la biblioteca de código abierto NVIDIA TensorRT-LLM.

Descarga y acceso a los modelos

Nemotron-4 340B está disponible para descargar desde el catálogo NVIDIA NGC y Hugging Face. Los desarrolladores pronto podrán acceder a los modelos en ai.nvidia.com, donde estarán empaquetados como un microservicio NVIDIA NIM con una interfaz de programación de aplicaciones estándar que puede ser implementada en cualquier lugar.

navegando por Nemotron para generar datos sintéticos

Los LLMs pueden ayudar a los desarrolladores a generar datos de entrenamiento sintéticos en escenarios donde el acceso a conjuntos de datos etiquetados grandes y diversos es limitado. El modelo Nemotron-4 340B Instruct crea datos sintéticos diversos que imitan las características de los datos del mundo real, ayudando a mejorar la calidad de los datos para aumentar el rendimiento y la robustez de los LLMs personalizados en varios dominios.

Luego, para mejorar la calidad de los datos generados por la IA, los desarrolladores pueden usar el modelo Nemotron-4 340B Reward para filtrar respuestas de alta calidad. Nemotron-4 340B Reward califica las respuestas en cinco atributos: utilidad, corrección, coherencia, complejidad y verbosidad. Actualmente ocupa el primer lugar en el Hugging Face RewardBench leaderboard, creado por AI2, para evaluar las capacidades, seguridad y fallos de los modelos de recompensa.

Investigadores también pueden crear sus propios modelos instruct o reward personalizando el modelo Nemotron-4 340B Base utilizando sus datos patentados, combinados con el conjunto de datos incluido HelpSteer2.

ajuste fino con NeMo, optimización para inferencia con TensorRT-LLM

Utilizando el código abierto NVIDIA NeMo y NVIDIA TensorRT-LLM, los desarrolladores pueden optimizar la eficiencia de sus modelos instruct y reward para generar datos sintéticos y para calificar respuestas.

Todos los modelos Nemotron-4 340B están optimizados con TensorRT-LLM para aprovechar el paralelismo tensorial, una forma de paralelismo de modelos en la que las matrices de pesos individuales se dividen entre múltiples GPUs y servidores, permitiendo una inferencia eficiente a escala.

El modelo Nemotron-4 340B Base, entrenado con 9 billones de tokens, puede personalizarse usando el marco NeMo para adaptarse a casos de uso o dominios específicos. Este proceso de ajuste fino se beneficia de datos de preentrenamiento extensivos y produce salidas más precisas para tareas específicas.

Una variedad de métodos de personalización están disponibles a través del marco NeMo, incluyendo ajuste fino supervisado y métodos de ajuste fino eficientes en parámetros como la adaptación de baja clasificación, o LoRA.

Para mejorar la calidad del modelo, los desarrolladores pueden alinear sus modelos con NeMo Aligner y conjuntos de datos anotados por Nemotron-4 340B Reward. La alineación es un paso clave en el entrenamiento de LLMs, donde el comportamiento de un modelo se ajusta utilizando algoritmos como el aprendizaje por refuerzo con retroalimentación humana (RLHF) para asegurar que sus salidas sean seguras, precisas, apropiadas contextualmente y consistentes con sus objetivos.

Las empresas que buscan soporte de nivel empresarial y seguridad para entornos de producción también pueden acceder a NeMo y TensorRT-LLM a través de la plataforma de software en la nube NVIDIA AI Enterprise, que proporciona tiempos de ejecución acelerados y eficientes para modelos generativos de IA.

evaluación de la seguridad del modelo y primeros pasos

El modelo Nemotron-4 340B Instruct se sometió a una evaluación de seguridad exhaustiva, incluyendo pruebas adversariales, y tuvo un buen desempeño en una amplia gama de indicadores de riesgo. Los usuarios aún deben realizar una evaluación cuidadosa de las salidas del modelo para asegurar que los datos sintéticos generados sean adecuados, seguros y precisos para su caso de uso.

Para más información sobre la seguridad del modelo y la evaluación de la seguridad, consulte la tarjeta del modelo.

Descargue los modelos Nemotron-4 340B a través de NVIDIA NGC y Hugging Face. Para más detalles, lea los artículos de investigación sobre el modelo y el conjunto de datos.