Enterprises están adoptando rápidamente IA generativa, modelos de lenguaje de gran tamaño (LLMs), gráficos avanzados y gemelos digitales para aumentar la eficiencia operativa, reducir costos y fomentar la innovación.
Para adoptar estas tecnologías de manera efectiva, las empresas necesitan acceso a plataformas de computación acelerada de alto nivel y de pila completa. Para satisfacer esta demanda, Oracle Cloud Infrastructure (OCI) anunció la disponibilidad de instancias bare-metal de NVIDIA L40S GPU y la próxima disponibilidad de una nueva máquina virtual acelerada por un único NVIDIA H100 Tensor Core GPU. Esta nueva VM amplía el portafolio existente de H100 de OCI, que incluye una instancia bare-metal NVIDIA HGX H100 con 8 GPUs.
Combinadas con la red de NVIDIA y ejecutando la pila de software de NVIDIA, estas plataformas ofrecen un rendimiento y eficiencia excepcionales, permitiendo a las empresas avanzar en la IA generativa.
NVIDIA L40S ahora disponible para pedidos en OCI
La NVIDIA L40S es una GPU universal para centros de datos diseñada para ofrecer un rendimiento revolucionario en la aceleración de múltiples cargas de trabajo para aplicaciones de IA generativa, gráficos y video. Equipado con núcleos Tensor de cuarta generación y soporte para el formato de datos FP8, la GPU L40S sobresale en el entrenamiento y ajuste fino de LLMs de pequeño a mediano tamaño, así como en la inferencia en una amplia gama de casos de uso de IA generativa.
Por ejemplo, una sola GPU L40S (FP8) puede generar hasta 1.4 veces más tokens por segundo que una sola NVIDIA A100 Tensor Core GPU (FP16) para Llama 3 8B con NVIDIA TensorRT-LLM a una longitud de secuencia de entrada y salida de 128.
La GPU L40S también ofrece la mejor aceleración en gráficos y medios de su categoría. Sus núcleos de ray tracing de tercera generación (RT Cores) y múltiples motores de codificación/decodificación la hacen ideal para aplicaciones de visualización avanzada y gemelos digitales.
La GPU L40S proporciona hasta 3.8 veces el rendimiento de ray tracing en tiempo real de su predecesora y soporta NVIDIA DLSS 3 para un renderizado más rápido y tasas de cuadros más fluidas. Esto convierte a la GPU en una opción ideal para desarrollar aplicaciones en la plataforma NVIDIA Omniverse, permitiendo simulaciones 3D fotorealistas en tiempo real y gemelos digitales habilitados por IA. Con Omniverse en la GPU L40S, las empresas pueden desarrollar aplicaciones y flujos de trabajo 3D avanzados para la digitalización industrial, que les permitirá diseñar, simular y optimizar productos, procesos e instalaciones en tiempo real antes de entrar en producción.
OCI ofrecerá la GPU L40S en su forma bare-metal BM.GPU.L40S.4, que cuenta con cuatro GPUs L40S, cada una con 48GB de memoria GDDR6. Esta forma incluye unidades NVMe locales con una capacidad de 7.38TB, CPUs Intel Xeon de cuarta generación con 112 núcleos y 1TB de memoria del sistema.
Estas formas eliminan la sobrecarga de cualquier virtualización para cargas de trabajo de IA o aprendizaje automático sensibles a la latencia y de alto rendimiento, gracias a la arquitectura de computación bare-metal de OCI. La forma de computación acelerada presenta el NVIDIA BlueField-3 DPU para mejorar la eficiencia del servidor, transfiriendo tareas del centro de datos de las CPUs con el objetivo de acelerar las cargas de trabajo de red, almacenamiento y seguridad. El uso de DPUs BlueField-3 refuerza la estrategia de OCI de virtualización fuera de la caja en toda su flota.
El supercluster OCI con NVIDIA L40S permite un rendimiento ultravioleta con 800Gbps de ancho de banda entre nodos y baja latencia para hasta 3,840 GPUs. La red de clúster de OCI utiliza NVIDIA ConnectX-7 NICs sobre RoCE v2 para soportar cargas de trabajo de alta eficiencia y sensibilidad a la latencia, incluyendo el entrenamiento de IA.
“Elegimos la infraestructura de IA de OCI con instancias bare-metal y GPUs NVIDIA L40S para lograr un 30% más de eficiencia en la codificación de video,” dijo Sharon Carmel, CEO de Beamr Cloud. “Los videos procesados con Beamr Cloud en OCI tendrán hasta un 50% menos de consumo de almacenamiento y ancho de banda de red, acelerando las transferencias de archivos por 2x y aumentando la productividad para los usuarios finales. Beamr proporcionará a los clientes de OCI flujos de trabajo de IA de video, preparándolos para el futuro del video.”
VMs H100 para un solo GPU disponibles pronto en OCI
La forma de máquina virtual VM.GPU.H100.1, acelerada por un único NVIDIA H100 Tensor Core GPU, estará disponible pronto en OCI. Esto proporcionará acceso a bajo costo y bajo demanda para las empresas que buscan utilizar el poder de las GPUs NVIDIA H100 para sus cargas de trabajo de IA generativa y HPC.
Una sola H100 proporciona una buena plataforma para cargas de trabajo más pequeñas e inferencia de LLM. Por ejemplo, una GPU H100 puede generar más de 27,000 tokens por segundo para Llama 3 8B (hasta 4 veces más rendimiento que una sola GPU A100 a una precisión FP16) con NVIDIA TensorRT-LLM a una longitud de secuencia de entrada y salida de 128 y precisión FP8.
La forma VM.GPU.H100.1 incluye 2×3.4TB de capacidad de unidad NVMe, 13 núcleos de procesadores Intel Xeon de 4ª generación y 246GB de memoria del sistema, lo que la hace muy adecuada para una variedad de tareas de IA.
“La computación bare-metal de Oracle Cloud con GPUs NVIDIA H100 y A100, supercluster de baja latencia y almacenamiento de alto rendimiento ofrece hasta 20% mejor relación costo-rendimiento para los solucionadores de dinámica de fluidos computacional y mecánica estructural de Altair,” dijo Yeshwant Mummaneni, ingeniero jefe de análisis de gestión de datos en Altair. “Esperamos aprovechar estas GPUs con máquinas virtuales para el appliance virtual ilimitado de Altair.”
Instancias bare-metal GH200 disponibles para validación
OCI también ha puesto a disposición la forma de computación BM.GPU.GH200 para que los clientes la prueben. Presenta el NVIDIA Grace Hopper Superchip y NVLink-C2C, una conexión de alto ancho de banda y con coherencia de caché de 900GB/s entre la NVIDIA Grace CPU y la NVIDIA Hopper GPU. Esto proporciona más de 600GB de memoria accesible, permitiendo un rendimiento de hasta 10 veces superior para aplicaciones que gestionan terabytes de datos en comparación con la GPU NVIDIA A100.
Software optimizado para IA empresarial
Las empresas cuentan con una amplia variedad de GPUs NVIDIA para acelerar sus cargas de trabajo de IA, HPC y análisis de datos en OCI. Sin embargo, maximizar el potencial completo de estas instancias de computación aceleradas por GPU requiere una capa de software optimizada.
NVIDIA NIM, parte de la plataforma de software NVIDIA AI Enterprise disponible en el OCI Marketplace, es un conjunto de microservicios fáciles de usar diseñados para el despliegue seguro y confiable de inferencias de modelos de IA de alto rendimiento para implementar aplicaciones de IA generativa de clase mundial.
Optimizado para GPUs NVIDIA, NIM ofrece contenedores preconstruidos que brindan a los desarrolladores una mejor relación costo-beneficio, un tiempo de comercialización más rápido y seguridad. Los microservicios NIM para modelos comunitarios populares, que se pueden encontrar en el Catálogo de API de NVIDIA, pueden desplegarse fácilmente en OCI.
El rendimiento continuará mejorando con el tiempo con las próximas instancias aceleradas por GPU, incluyendo GPUs NVIDIA H200 Tensor Core y GPUs NVIDIA Blackwell.
Ordene la GPU L40S y pruebe el Superchip GH200 contactando a OCI. Para más información, únase a Oracle y NVIDIA en SIGGRAPH, la conferencia de gráficos de mayor prestigio en el mundo.
