Generar aplicaciones de inteligencia artificial que utilizan texto, código de computadora, cadenas de proteínas, resúmenes, video e incluso gráficos en 3D requieren computación acelerada a escala de centros de datos para entrenar de manera eficiente los modelos de lenguaje grande (LLMs) que las impulsan.
Logros Notables con Blackwell
La primera presentación de formación de Blackwell al Consorcio MLCommons, que establece pruebas estandarizadas, imparciales y rigurosamente revisadas para los participantes de la industria, destaca el avance de la arquitectura en el rendimiento de capacitación de inteligencia artificial generativa.
Por ejemplo, la arquitectura incluye nuevos núcleos que optimizan el uso de Tensor Cores. Los núcleos son operaciones matemáticas optimizadas y diseñadas específicamente, como multiplicaciones de matrices, que son fundamentales en muchos algoritmos de aprendizaje profundo.
Un mayor rendimiento por GPU y una memoria de banda ancha de alta capacidad y rapidez en Blackwell permiten ejecutar el benchmark GPT-3 175B con menos GPUs, logrando un excelente rendimiento por GPU. Aprovechando la mayor memoria HBM3e de banda ancha, solo 64 GPUs de Blackwell lograron correr en el benchmark LLM de GPT-3 sin comprometer el rendimiento por GPU, mientras que el mismo benchmark usando Hopper necesitó 256 GPUs.
Los resultados de entrenamiento de Blackwell siguieron a una presentación anterior en MLPerf Inference 4.1, donde Blackwell proporcionó hasta 4 veces más rendimiento en inferencia de LLM en comparación con la generación Hopper. Al utilizar la precisión FP4 de la arquitectura Blackwell, junto con el Sistema de Cuantización NVIDIA QUASAR, la presentación mostró un rendimiento poderoso mientras cumplía con los requisitos de exactitud del benchmark.
Optimización Constante
Las plataformas de NVIDIA experimentan un desarrollo de software continuo, acumulando mejoras en rendimiento y características tanto en entrenamiento como en inferencia para una amplia variedad de marcos, modelos y aplicaciones.
En esta ronda de presentaciones de entrenamiento de MLPerf, Hopper logró una mejora de 1.3 veces en el rendimiento de entrenamiento por GPU del GPT-3 175B desde la introducción del benchmark.
NVIDIA también presentó resultados a gran escala en el benchmark GPT-3 175B utilizando 11,616 GPUs de Hopper conectadas mediante comunicaciones de GPU a GPU de NVIDIA NVLink y NVSwitch y redes NVIDIA Quantum-2 InfiniBand.
Desde el año pasado, las GPUs de NVIDIA Hopper han triplicado su escala y rendimiento en el benchmark GPT-3 175B. Además, en el benchmark de ajuste fino de Llama 2 70B LoRA, NVIDIA incrementó el rendimiento en un 26% utilizando el mismo número de GPUs de Hopper, reflejando continuas mejoras de software.
El trabajo continuo de NVIDIA en la optimización de sus plataformas de computación acelerada permite seguir mejorando los resultados de las pruebas MLPerf, impulsando el rendimiento del software en contenedores, brindando una computación más potente a socios y clientes en plataformas existentes y generando un mayor retorno de su inversión en plataformas.
Colaboraciones Estratégicas
Los socios de NVIDIA, incluidos fabricantes de sistemas y proveedores de servicios en la nube como ASUSTek, Azure, Cisco, Dell, Fujitsu, Giga Computing, Lambda Labs, Lenovo, Oracle Cloud, Quanta Cloud Technology y Supermicro, también presentaron resultados impresionantes en MLPerf en esta última ronda.
Como miembro fundador de MLCommons, NVIDIA considera que el papel de los benchmarks de estándares industriales y las mejores prácticas de benchmarking en la computación de inteligencia artificial es vital. Con acceso a comparaciones simplificadas y revisadas por pares de plataformas de inteligencia artificial y HPC, las empresas pueden mantenerse al día con las últimas innovaciones en computación de inteligencia artificial y acceder a información valiosa que puede guiar decisiones importantes sobre inversiones en plataformas.
