NVIDIA presenta Project Aether para optimizar Apache Spark
Miles de empresas a nivel mundial utilizan Apache Spark para analizar grandes volúmenes de datos, lo que les permite realizar operaciones esenciales y prever tendencias en comportamiento del cliente y rendimiento empresarial. La capacidad de procesamiento rápido de datos no solo ayuda a estas organizaciones a mejorar su eficiencia, sino que también se traduce en un incremento en sus ingresos y ahorros.
El auge de NVIDIA RAPIDS Accelerator para Apache Spark ha sido notable entre grandes minoristas y bancos, que han adoptado esta solución de software de código abierto diseñada para operar en la plataforma de computación acelerada de NVIDIA. Este sistema agiliza de manera significativa los procesos de ciencia de datos y análisis, y lo hace sin requerir cambios en el código existente.
Automatización de procesos con Project Aether
Para facilitar aún más la implementación de Spark acelerado por NVIDIA, la compañía ha dado a conocer Project Aether, un conjunto de herramientas y procesos que simplifican la cualificación, prueba, configuración y optimización de las cargas de trabajo de Spark para acelerar su rendimiento en GPU.
Las empresas que operan con múltiples trabajos de Spark a menudo enfrentan la complejidad de gestionar miles de tareas simultáneamente. Aunque la migración de la computación basada en CPU a la impulsada por GPU presenta múltiples ventajas, este cambio solía ser un proceso manual y tedioso. Project Aether automatiza todos estos pasos, incluyendo el análisis de trabajos en Spark para identificar los mejores candidatos para la aceleración en GPU y la realización de pruebas.
Por ejemplo, una empresa que necesita completar 100 trabajos de Spark puede configurar y optimizar cada uno de ellos en solo cuatro días con Project Aether. En comparación, realizar esta labor manualmente podría tomar hasta un año completo para un único ingeniero de datos.
Transformación en el Commonwealth Bank de Australia
Implementar Apache Spark con el soporte de NVIDIA ha permitido a diversas empresas completar sus trabajos de forma más eficiente, utilizando menos recursos hardware en comparación con la computación tradicional basada en CPU. Tal es el caso del Commonwealth Bank de Australia (CBA), la mayor institución financiera del país, que gestiona aproximadamente el 60% de las transacciones financieras en el continente.
CBA enfrentaba dificultades debido a la latencia y los altos costos derivados de sus cargas de trabajo en Spark. Anteriormente, la institución necesitaba casi nueve años para procesar un backlog de entrenamiento, lo que complicaba su capacidad de satisfacer las demandas diarias de datos. Andrew McMullan, director de datos y análisis del banco, manifestó: «Con 40 millones de transacciones de inferencia al día, era esencial que pudiéramos procesarlas de manera oportuna y fiable».
Gracias al RAPIDS Accelerator para Apache Spark, CBA ha experimentado un aumento en su rendimiento, logrando procesar un entrenamiento de 6.3 mil millones de transacciones en solo cinco días, lo que representa un crecimiento de 640 veces en comparación con su procesamiento previo. Este sistema también ha permitido a la institución llevar a cabo inferencias en 46 minutos, reduciendo sus costos en más de un 80% en relación a las soluciones tradicionales.
El banco prevé utilizar esta tecnología para mejorar la identificación de los puntos donde sus clientes suelen abandonar el proceso digital, permitiéndoles optimizar sus servicios y reducir la tasa de aplicaciones abandonadas.
RAPIDS Accelerator para Apache Spark se encuentra disponible a través de una red global de socios y es compatible con varios proveedores de servicios en la nube, lo que facilita su adopción a gran escala. Este avance marca un paso significativo hacia la automatización y optimización de los procesos de análisis de datos en múltiples sectores.
