Miles de empresas en todo el mundo dependen de Apache Spark para procesar grandes volúmenes de datos, lo que les permite llevar a cabo operaciones críticas y predecir tendencias, comportamientos de los clientes y el rendimiento empresarial. La rapidez con la que una empresa puede procesar y comprender sus datos es directamente proporcional a las oportunidades de ahorro y generación de ingresos que puede aprovechar. Por esta razón, muchas de las empresas más grandes del mundo, incluidas las principales minoristas y bancos, han adoptado el NVIDIA RAPIDS Accelerator para Apache Spark. Este software de código abierto, que funciona sobre la plataforma de computación acelerada de NVIDIA, acelera significativamente el procesamiento de cadenas de análisis y ciencia de datos de extremo a extremo, sin necesidad de realizar cambios en el código existente.
NVIDIA ha lanzado recientemente el Project Aether, una colección de herramientas y procesos que facilitan la calificación, prueba, configuración y optimización de cargas de trabajo de Spark para ser aceleradas por GPU a gran escala. Este avance promete completar en menos de una semana lo que antes podía llevar todo un año de trabajo manual por parte de un ingeniero de datos, al automatizar pasos como la identificación de trabajos de Spark que podrían beneficiarse de la aceleración por GPU, así como la puesta en escena y ejecución de pruebas de cada tarea. Utilizando la inteligencia artificial, el proyecto ajusta cada tarea para obtener el máximo rendimiento posible.
El Commonwealth Bank of Australia (CBA), la institución financiera más grande de Australia responsable del 60% de las transacciones financieras del país, ha experimentado mejoras significativas tras la implementación de la infraestructura de GPU potenciada por el RAPIDS Accelerator para Apache Spark. La institución fue capaz de procesar una capacitación de 6.3 mil millones de transacciones en solo cinco días, obteniendo un aumento de rendimiento de 640 veces. Además, la ejecución de 40 millones de transacciones diarias ahora se completa en 46 minutos, reduciendo los costos en más del 80% en comparación con el uso de una solución basada en CPU. Esto les ha permitido construir modelos de manera eficiente para mejorar el servicio al cliente, anticipar necesidades relacionadas con préstamos hipotecarios y detectar transacciones fraudulentas con mayor rapidez.
El RAPIDS Accelerator para Apache Spark está disponible a través de una red global de socios y se ofrece en plataformas líderes como Amazon Web Services, Cloudera, Databricks, Dataiku, Google Cloud, Microsoft Azure y Oracle Cloud Infrastructure. Dell Technologies también ha anunciado la integración de este acelerador con su Dell Data Lakehouse. A través del Project Aether, las empresas interesadas en migrar cargas de trabajo de Apache Spark a gran escala pueden aplicar para recibir asistencia en este proceso.
Fuente: Zona de blogs y prensa de Nvidia
