Las empresas buscan un potencial de computación cada vez más potente para respaldar sus cargas de trabajo de inteligencia artificial (IA) y acelerar el procesamiento de datos. La eficiencia adquirida puede traducirse en mejores retornos de inversión en capacitación y ajuste de IA, así como en experiencias de usuario mejoradas para la inferencia de IA.
Primer Supercluster Zettascale de Oracle
En la conferencia Oracle CloudWorld, Oracle Cloud Infrastructure (OCI) presentó el primer Supercluster Zettascale OCI, potenciado por la plataforma NVIDIA Blackwell, para ayudar a las empresas a entrenar y desplegar modelos de IA de próxima generación utilizando más de 100,000 de las últimas GPUs de NVIDIA.
Los Superclusters de OCI permiten a los clientes elegir entre una amplia gama de GPUs de NVIDIA y desplegarlas en cualquier lugar: en las instalaciones, en la nube pública y en la nube soberana. Los sistemas basados en Blackwell, que estarán disponibles en la primera mitad del año siguiente, pueden escalar hasta 131,072 GPUs Blackwell con NVIDIA ConnectX-7 NICs para RoCEv2 o NVIDIA Quantum-2 InfiniBand, ofreciendo un impresionante rendimiento de 2.4 zettaflops de computación de IA en la nube.
Instancias Líquidas para IA Generativa
Durante el evento, Oracle también presentó instancias bare-metal de NVIDIA GB200 NVL72 refrigeradas por líquido para potenciar aplicaciones de IA generativa. Estas instancias son capaces de realizar entrenamiento a gran escala con Quantum-2 InfiniBand y realizar inferencia en tiempo real de modelos de mil millones de parámetros dentro del expandido dominio de 72-GPU de NVIDIA NVLink, que puede actuar como una única y masiva GPU.
Este año, OCI ofrecerá NVIDIA HGX H200, que conecta ocho NVIDIA H200 Tensor Core GPUs en una sola instancia bare-metal a través de NVLink y NVLink Switch, escalando a 65,536 H200 GPUs con NVIDIA ConnectX-7 NICs sobre networking de clúster RoCEv2. Esta instancia estará disponible para los clientes que busquen ofrecer inferencia en tiempo real a gran escala y acelerar sus cargas de trabajo de entrenamiento.
Nuevas Oportunidades con NVIDIA L40S
OCI también anunció la disponibilidad general de instancias aceleradas por NVIDIA L40S GPU para cargas de trabajo de IA de gama media, NVIDIA Omniverse y visualización.
Para soluciones de nodo individual a múltiples racks, las ofertas de edge de Oracle proporcionan IA escalable en el borde, acelerada por GPUs de NVIDIA, incluso en ubicaciones desconectadas y remotas. Por ejemplo, los despliegues de menor escala con el Roving Edge Device v2 de Oracle ahora admitirán hasta tres NVIDIA L4 Tensor Core GPUs.
Innovación en IA con Superclusters OCI
Las empresas están utilizando los Superclusters OCI potenciados por NVIDIA para impulsar la innovación en IA. La startup de modelos fundacionales Reka, por ejemplo, está usando los clústeres para desarrollar modelos avanzados de IA multimodal para crear agentes empresariales.
“Los modelos de IA multimodal de Reka, construidos con tecnologías de OCI y NVIDIA, empoderan a los agentes empresariales de próxima generación que pueden leer, ver, oír y hablar para comprender nuestro complejo mundo,” afirmó Dani Yogatama, cofundador y CEO de Reka. “Con la infraestructura acelerada por GPUs de NVIDIA, podemos manejar modelos muy grandes y contextos extensos con facilidad, todo mientras nos permite realizar entrenamientos densos y dispersos que escalan eficientemente a niveles de clúster.”
Aceleración de cargas de trabajo de IA Generativa en Oracle
Oracle Autonomous Database está ganando soporte de GPU de NVIDIA para los notebooks de Oracle Machine Learning, permitiendo a los clientes acelerar sus cargas de trabajo de procesamiento de datos.
En Oracle CloudWorld, NVIDIA y Oracle colaboraron para demostrar tres capacidades que muestran cómo la plataforma de computación acelerada por NVIDIA podría ser utilizada para acelerar componentes clave de los pipelines de generación aumentada por recuperación.
La primera demostración mostró cómo las GPUs de NVIDIA pueden ser utilizadas para acelerar las incrustaciones de vectores a granel directamente desde Oracle Autonomous Database Serverless, acercando de manera eficiente los datos empresariales a la IA. Estos vectores pueden ser buscados utilizando el AI Vector Search de Oracle Database 23ai.
La segunda demostración presentó un prototipo de prueba de concepto que utilizó GPUs de NVIDIA, NVIDIA RAPIDS cuVS y un marco de descarga desarrollado por Oracle para acelerar la generación de índices de gráficos de vectores, lo que reduce significativamente el tiempo necesario para construir índices para búsquedas de vectores eficientes.
La tercera demostración ilustró cómo NVIDIA NIM, un conjunto de microservicios de inferencia fáciles de usar, puede mejorar el rendimiento de la IA generativa para casos de uso de generación de texto y traducción a través de una variedad de tamaños de modelo y niveles de concurrencia.
Juntas, estas nuevas capacidades y demostraciones de Oracle Database destacan cómo las GPUs de NVIDIA pueden ayudar a las empresas a llevar la IA generativa a sus datos estructurados y no estructurados almacenados o gestionados en una base de datos de Oracle.
IA Soberana a Nivel Mundial
NVIDIA y Oracle están colaborando para entregar infraestructura de IA soberana en todo el mundo, ayudando a abordar las necesidades de residencia de datos de gobiernos y empresas.
La startup brasileña Wide Labs entrenó y desplegó Amazonia IA, uno de los primeros grandes modelos de lenguaje para el portugués brasileño, utilizando NVIDIA H100 Tensor Core GPUs y el marco NVIDIA NeMo en los centros de datos de OCI en Brasil para garantizar la soberanía de datos.
“Desarrollar un LLM soberano nos permite ofrecer a los clientes un servicio que procesa sus datos dentro de las fronteras brasileñas, otorgando a Amazônia una posición de mercado única,” afirmó Nelson Leoni, CEO de Wide Labs. “Usando el marco NVIDIA NeMo, logramos entrenar exitosamente Amazônia IA.”
En Japón, el Instituto de Investigación Nomura, un proveedor global líder de servicios de consultoría y soluciones de sistemas, está utilizando la infraestructura Alloy de OCI con GPUs de NVIDIA para mejorar su plataforma de IA financiera con LLMs que operan de acuerdo con las regulaciones financieras y requisitos de soberanía de datos.
La empresa de comunicación y colaboración Zoom utilizará GPUs de NVIDIA en los centros de datos de OCI en Arabia Saudita para ayudar a cumplir con los requisitos locales de datos.
Y la empresa de modelado geoespacial RSS-Hydro está demostrando cómo su plataforma de mapeo de inundaciones, construida sobre la plataforma NVIDIA Omniverse y potenciada por GPUs L40S en OCI, puede utilizar gemelos digitales para simular los impactos de inundaciones en la región de Kumamoto de Japón, ayudando a mitigar el impacto del cambio climático.
Estos clientes se encuentran entre numerosas naciones y organizaciones que están construyendo y desplegando aplicaciones de IA nacionales potenciadas por NVIDIA y OCI, promoviendo la resiliencia económica a través de infraestructura de IA soberana.
IA Lista para Empresas con NVIDIA y Oracle
Las empresas pueden acelerar la automatización de tareas en OCI al implementar software de NVIDIA como los microservicios NIM y NVIDIA cuOpt con las soluciones en la nube escalables de OCI. Estas soluciones permiten a las empresas adoptar rápidamente la IA generativa y construir flujos de trabajo ágiles para tareas complejas como la generación de código y la optimización de rutas.
NVIDIA cuOpt, NIM, RAPIDS y más están incluidos en la NVIDIA AI Enterprise software platform, disponible en el Oracle Cloud Marketplace.
Conoce más en Oracle CloudWorld
Únete a NVIDIA en Oracle CloudWorld para aprender cómo la colaboración entre ambas empresas está trayendo la IA y el procesamiento de datos acelerado a las organizaciones del mundo.
Regístrate para el evento para ver sesiones, demostraciones y unirte a Oracle y NVIDIA en la conferencia sobre soluciones, “Unlock AI Performance with NVIDIA’s Accelerated Computing Platform”.
