En un mundo donde la inteligencia artificial avanza a pasos agigantados, las empresas dependen cada vez más de agentes de IA para optimizar y agilizar procesos. Estos agentes, cuya capacidad va más allá de simplemente generar respuestas, son ahora capaces de buscar información, consultar bases de datos, escribir y probar código, así como tomar decisiones autónomas. Este complejo ecosistema requiere de una arquitectura de CPU eficiente, que permita una ejecución rápida de las tareas de los agentes y soporte múltiples operaciones simultáneamente, dentro de los límites energéticos disponibles.
La reciente introducción de la CPU NVIDIA Vera está revolucionando la manera en que se gestionan estos agentes de IA. En un entorno donde la limitación de energía es cada vez más crítica, la infraestructura de IA necesita maximizar el trabajo realizado por cada vatio consumido. NVIDIA Vera logra un equilibrio óptimo entre velocidad y capacidad, al proporcionar un rendimiento excepcional en tareas de agentes, prescindiendo de la necesidad de combinar diferentes partes para equilibrar rapidez y densidad.
Un análisis comparativo en un centro de datos de 100 megavatios reveló que la CPU Vera de NVIDIA supera a los procesadores x86 más rápidos en rapidez de agentes, ofreciendo 1.6 veces más agentes por vatio. Asimismo, dobla la velocidad de agentes en comparación con la CPU x86 más eficiente en términos de energía.
Varios socios tecnológicos ya han comenzado a utilizar la CPU Vera, observando mejoras significativas en sus pruebas. Perplexity reportó un aumento del 1.5x en la velocidad de las tareas de codificación con agentes. DeepInfra experimentó hasta 2.2 veces de incremento en la velocidad de orquestación de agentes en sus cargas de trabajo de producción. ClickHouse, sin ajustes específicos para Vera, logró escalar casi linealmente en 176 núcleos, alcanzando la cima en el ranking de hardware de ClickBench. Por su parte, DuckLabs vio una mejora de aproximadamente 1.5 veces en el rendimiento mediano del TPC-H SF1000 respecto a una base de Intel Xeon 6.
Daytona llevó a 1,000 sandboxes de agentes en línea en solo 10.8 segundos, con una ejecución de 12.7 trabajos completados por segundo en 2,000 sandboxes concurrentes, comparado con los 88.4 segundos necesarios usando x86. Finalmente, Modal duplicó el rendimiento de throughput de sandboxes por núcleo frente al hardware x86 comparable, con mejoras que se amplían bajo una carga intensa.
La adopción de la CPU NVIDIA Vera marca un avance significativo en la eficiencia y capacidad de los agentes de IA, posicionándose como una herramienta clave para el futuro de las fábricas de inteligencia artificial. Esta innovación promete redefinir los estándares de rendimiento y eficiencia energética en los centros de datos del futuro.
Fuente: Zona de blogs y prensa de Nvidia
