Muchos científicos, ya sea que estén investigando comportamientos de electrones a escala nanométrica o galaxias en colisión a millones de años luz de distancia, enfrentan un desafío común: deben analizar petabytes de datos para extraer información que pueda impulsar sus áreas de estudio. Con la biblioteca de computación acelerada NVIDIA cuPyNumeric, los investigadores pueden ejecutar su código en Python para el procesamiento de datos de manera sencilla en computadoras portátiles con CPU, estaciones de trabajo aceleradas por GPU, servidores en la nube o supercomputadoras masivas. Cuanto más rápido puedan trabajar con sus datos, más ágil será su proceso de toma de decisiones sobre puntos de datos prometedores, tendencias que valga la pena investigar y ajustes en sus experimentos.

Adopción de computación acelerada sin necesidad de experiencia previa

Para hacer la transición a la computación acelerada, los investigadores no necesitan ser expertos en informática. Pueden simplemente escribir código utilizando la interfaz familiar de NumPy o aplicar cuPyNumeric a su código existente, siguiendo las mejores prácticas para rendimiento y escalabilidad.

Una vez que se aplica cuPyNumeric, pueden ejecutar su código en una o miles de GPU sin necesidad de realizar cambios en el código.

Una mejor versión de cuPyNumeric

La última versión de cuPyNumeric, ahora disponible en Conda y GitHub, ofrece soporte para el NVIDIA GH200 Grace Hopper Superchip, configuración automática de recursos en tiempo de ejecución y mejor escalabilidad de memoria. También soporta HDF5, un formato de archivo popular en la comunidad científica que ayuda a gestionar de manera eficiente grandes conjuntos de datos complejos.

Investigadores en el Laboratorio Nacional SLAC, el Laboratorio Nacional de Los Álamos, la Universidad Nacional de Australia, UMass Boston, el Centro de Investigación de Turbulencias en la Universidad de Stanford y la Corporación Nacional de Pagos de India se encuentran entre quienes han integrado cuPyNumeric para lograr mejoras significativas en sus flujos de trabajo de análisis de datos.

Menos es más: escalabilidad ilimitada de GPU sin cambios en el código

Python es el lenguaje de programación más común para la ciencia de datos, el aprendizaje automático y la computación numérica, utilizado por millones de investigadores en campos científicos como la astronomía, el descubrimiento de fármacos, la ciencia de materiales y la física nuclear. Decenas de miles de paquetes en GitHub dependen de la biblioteca matemática y de matrices NumPy, que tuvo más de 300 millones de descargas el mes pasado. Todas estas aplicaciones podrían beneficiarse de la computación acelerada con cuPyNumeric.

Muchos de estos científicos crean programas que utilizan NumPy y funcionan en un solo nodo con CPU, lo que limita el rendimiento de sus algoritmos al procesar conjuntos de datos cada vez mayores recopilados por instrumentos como microscopios electrónicos, colisionadores de partículas y radiotelescopios.

cuPyNumeric ayuda a los investigadores a mantenerse al día con el tamaño y la complejidad crecientes de sus conjuntos de datos proporcionando un sustituto directo para NumPy que puede escalar a miles de GPU. cuPyNumeric no requiere cambios en el código al escalar de una sola GPU a toda una supercomputadora, lo que facilita a los investigadores ejecutar sus análisis en sistemas de computación acelerada de cualquier tamaño.

Resolviendo el problema de los grandes datos y acelerando el descubrimiento científico

Investigadores en el Laboratorio Nacional SLAC, un laboratorio del Departamento de Energía de EE.UU. operado por la Universidad de Stanford, encontraron que cuPyNumeric les ayuda a acelerar experimentos de rayos X realizados en el Linac Coherent Light Source.

Un equipo del SLAC centrado en el descubrimiento de ciencia de materiales para semiconductores descubrió que cuPyNumeric aceleró su aplicación de análisis de datos en 6 veces, reduciendo el tiempo de ejecución de minutos a segundos. Esta aceleración permite al equipo realizar análisis importantes en paralelo al realizar experimentos en esta instalación altamente especializada.

Al usar las horas de experimentación de manera más eficiente, el equipo anticipó poder descubrir nuevas propiedades materiales, compartir resultados y publicar trabajos más rápidamente.

Instituciones que utilizan cuPyNumeric

• Universidad Nacional de Australia, donde investigadores utilizaron cuPyNumeric para escalar el algoritmo de optimización de Levenberg-Marquardt para ejecutarse en sistemas de múltiples GPU en la Infraestructura Nacional de Computación del país. Si bien el algoritmo puede usarse para muchas aplicaciones, el objetivo inicial de los investigadores son los modelos climáticos y meteorológicos a gran escala.
• Laboratorio Nacional de Los Álamos, donde investigadores aplican cuPyNumeric para acelerar la ciencia de datos, la ciencia computacional y algoritmos de aprendizaje automático. cuPyNumeric les proporcionará herramientas adicionales para usar efectivamente el recientemente lanzado superordenador Venado, que cuenta con más de 2,500 NVIDIA GH200 Grace Hopper Superchips.
• Centro de Investigación de Turbulencias de la Universidad de Stanford, donde investigadores desarrollan solucionadores de dinámica de fluidos computacionales basados en Python que pueden funcionar a gran escala en grandes clústeres de computación acelerada utilizando cuPyNumeric. Estos solucionadores pueden integrar sin problemas grandes colecciones de simulaciones de fluidos con bibliotecas populares de aprendizaje automático como PyTorch, lo que permite aplicaciones complejas que incluyen entrenamiento en línea y aprendizaje por refuerzo.
• UMass Boston, donde un equipo de investigación está acelerando cálculos de álgebra lineal para analizar videos de microscopía y determinar la energía disipada por materiales activos. El equipo utilizó cuPyNumeric para descomponer una matriz de 16 millones de filas y 4,000 columnas.
• Corporación Nacional de Pagos de India, la organización detrás de un sistema de pago digital en tiempo real utilizado por alrededor de 250 millones de indios diariamente y que se está expandiendo globalmente. NPCI utiliza cálculos matriciales complejos para rastrear las rutas de transacciones entre pagadores y beneficiarios. Con los métodos actuales, toma alrededor de 5 horas procesar datos para una ventana de transacciones de una semana en sistemas de CPU. Una prueba mostró que aplicar cuPyNumeric para acelerar los cálculos en sistemas de múltiples nodos NVIDIA DGX podría acelerar la multiplicación de matrices en 50 veces, permitiendo a NPCI procesar ventanas de transacciones más grandes en menos de una hora y detectar sospechas de lavado de dinero en tiempo real.