La plataforma de computación acelerada completa de NVIDIA ha demostrado una vez más un rendimiento excepcional en los últimos benchmarks de MLPerf Training v4.0.

NVIDIA más que triplicó el rendimiento en el benchmark del gran modelo de lenguaje (LLM) basado en GPT-3 175B, en comparación con la presentación récord de NVIDIA del año pasado. Utilizando una supercomputadora de IA con **11,616 NVIDIA H100 Tensor Core GPUs** conectadas con **NVIDIA Quantum-2 InfiniBand** networking, NVIDIA logró esta hazaña notable mediante una escala mayor — más del triple de la presentación del año pasado de 3,584 H100 GPUs — y una extensa ingeniería de la pila completa.

Gracias a la escalabilidad de la plataforma de IA de NVIDIA, Eos ahora puede entrenar modelos de IA masivos como GPT-3 175B aún más rápido, y este gran rendimiento de IA se traduce en **oportunidades significativas de negocio**. Por ejemplo, en la reciente llamada de ganancias de NVIDIA, describimos cómo los proveedores de servicios LLM pueden transformar un solo dólar invertido en siete dólares en solo cuatro años ejecutando el modelo Llama 3 70B en servidores NVIDIA HGX H200. Este retorno supone un proveedor de servicios LLM sirviendo Llama 3 70B a **$0.60 por millón de tokens**, con un rendimiento del servidor HGX H200 de **24,000 tokens por segundo**.

NVIDIA H200 GPU potencia la IA generativa y HPC

La NVIDIA H200 Tensor GPU se basa en la fuerza de la arquitectura Hopper, con **141GB de memoria HBM3** y más del **40% más de ancho de banda de memoria** en comparación con la GPU H100. Superando los límites de lo que es posible en entrenamiento de IA, la NVIDIA H200 Tensor Core GPU extendió el rendimiento de la H100 hasta un **47% en su debut en MLPerf Training**.

NVIDIA Software impulsa ganancias de rendimiento inigualables

Además, nuestras presentaciones utilizando una **configuración de 512 H100 GPUs** ahora son hasta un **27% más rápidas** en comparación con solo un año atrás debido a numerosas optimizaciones en la pila de software de NVIDIA. Esta mejora resalta cómo las mejoras continuas de software pueden mejorar significativamente el rendimiento, incluso con el mismo hardware.

Este trabajo también ofreció una **escalabilidad casi perfecta**. A medida que el número de GPUs se incrementó en 3.2x — pasando de 3,584 H100 GPUs el año pasado a 11,616 H100 GPUs con esta presentación — así también aumentó el rendimiento.

Destacando en el ajuste fino de LLM

Con las empresas buscando personalizar modelos de lenguaje pre-entrenados, el ajuste fino de LLM se está convirtiendo en una carga de trabajo clave en la industria. MLPerf introdujo un nuevo benchmark de ajuste fino de LLM en esta ronda, basado en la popular técnica de adaptación de bajo rango (LoRA) aplicada a Meta Llama 2 70B.

La plataforma NVIDIA destacó en esta tarea, escalando de ocho a **1,024 GPUs**, con la presentación de mayor escala de NVIDIA completando el benchmark en un **récord de 1.5 minutos**.

Acelerando Stable Diffusion y entrenamiento de GNN

NVIDIA también aceleró el rendimiento de entrenamiento de **Stable Diffusion v2** hasta en un **80%** en las mismas escalas del sistema presentadas en la ronda anterior. Estos avances reflejan numerosas mejoras en la pila de software de NVIDIA, mostrando cómo **mejoras en software y hardware van de la mano** para ofrecer un rendimiento de primer nivel.

En la nueva prueba de redes neuronales gráficas (GNN) basada en R-GAT, la plataforma de NVIDIA con GPUs H100 destacó tanto en escalas pequeñas como grandes. La H200 entregó un **impulso del 47% en el entrenamiento de GNN de un solo nodo** en comparación con la H100. Esto demuestra el **potente rendimiento y alta eficiencia** de las GPUs de NVIDIA, que las hacen ideales para una amplia gama de aplicaciones de IA.

Amplio apoyo del ecosistema

Reflejando la amplitud del ecosistema de IA de NVIDIA, **10 socios de NVIDIA** presentaron resultados, incluyendo ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo, Oracle, Quanta Cloud Technology, Supermicro y Sustainable Metal Cloud. Esta amplia participación, y sus propios resultados impresionantes en los benchmarks, subrayan la **amplia adopción y confianza** en la plataforma de IA de NVIDIA en toda la industria.

El trabajo continuo de MLCommons para traer las mejores prácticas de benchmarking a la computación de IA es vital. Al permitir comparaciones revisadas por pares de plataformas de IA y HPC, y mantener el ritmo con los rápidos cambios que caracterizan a la computación de IA, MLCommons proporciona a las empresas en todo el mundo **datos cruciales** que pueden ayudar a guiar decisiones importantes de compra.

Y con la **plataforma NVIDIA Blackwell**, el rendimiento de IA de siguiente nivel en modelos generativos con billones de parámetros para entrenamiento e inferencia llegará pronto.