Hoy se ha lanzado NVIDIA Minerva, una innovadora plataforma de AIOps diseñada para ayudar a los equipos a detectar problemas tempranamente y mantener operativas las fábricas de inteligencia artificial (IA). Minerva integra la telemetría de la infraestructura y las cargas de trabajo de IA para convertir esos datos en información oportuna y accionable mediante modelos de IA creados específicamente para este propósito.
Las fábricas de IA son unas de las operaciones más complejas del mundo, con una vasta cantidad de GPUs trabajando en redes de alta velocidad para entrenar modelos y servir aplicaciones de IA. En este contexto, un único componente degradado puede ralentizar todo un proceso. Las señales de advertencia pueden ser fácilmente pasadas por alto, como un GPU funcionando a una temperatura más alta que sus pares o un disco NVMe perdiendo rendimiento bajo carga.
La plataforma está enfocada en el rendimiento de las fábricas de IA, una medida del trabajo útil que la infraestructura produce a través de horas de GPU, rendimiento óptimo, tiempo operativo de clúster y producción de tokens.
Con una perspectiva dinámica de una fábrica de IA, Minerva conecta las señales de las GPUs de NVIDIA, la red, almacenamiento, planificadores y cargas de trabajo. Construye un grafo de conocimiento dinámico que mapea lógicamente la infraestructura y los trabajos que se ejecutan en ella. Esto permite a los operadores rastrear un trabajo de entrenamiento lento hasta el componente que lo afecta, incluso en una fábrica con cientos de miles de GPUs.
Minerva analiza miles de millones de puntos de datos por hora utilizando aprendizaje supervisado y no supervisado. Aprende el comportamiento normal, detecta anomalías no vistas anteriormente, predice fallos emergentes y correlaciona eventos relacionados basándose en la topología de la fábrica. Esto permite agrupar una tormenta de eventos en un incidente focalizado con una causa raíz probable, aliviando así la carga sobre el operador.
Con un asistente de IA nativo, Minerva se conecta a herramientas externas de IA agente, añadiendo una interfaz de lenguaje natural anclada en telemetría en vivo. Los operadores pueden investigar la salud del clúster y recibir recomendaciones de medidas correctivas a través de conversación. Esto permite mantener una persona en el bucle para implementar soluciones manualmente o conectar Minerva a la automatización a través de interfaces de programación de aplicaciones de infraestructura y sistemas externos.
Los resultados de Minerva maximizan la productividad en las fábricas de IA al permitir una correlación más efectiva de problemas de carga de trabajo e infraestructura, simplificando las operaciones. Esto agrupa problemas relacionados en un único elemento accionable, permitiendo a los equipos de AIOps pasar de un mantenimiento reactivo a un mantenimiento proactivo. Todo esto contribuye a maximizar el tiempo operativo de las GPUs en las fábricas de IA.
Asociados como IREN ya están utilizando Minerva para optimizar sus fábricas de IA. Denis Skrinnikoff, director de tecnología de IREN, afirmó que Minerva proporciona a su equipo operativo una vista unificada de la red, las GPUs y los trabajos en ejecución, permitiéndoles centrarse más en el mantenimiento proactivo en lugar de la solución de problemas. Esto fortalece su modelo operativo para la infraestructura que están desarrollando.
Otras compañías como Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI y Tesla también planean implementar Minerva. Además de Dell Technologies, Lenovo y Supermicro ofrecerán Minerva como parte de sus portafolios operativos para fábricas de IA.
Fuente: Zona de blogs y prensa de Nvidia
