En un emocionante desafío de inteligencia artificial, el equipo de NVIDIA destacado en la competencia de la Olimpiada Matemática de IA se alzó con el primer lugar gracias a sus innovadores modelos de razonamiento. La competencia, organizada a través de Kaggle, reunió a más de 2,200 equipos que enfrentaron la tarea de resolver 50 complejas preguntas de matemáticas de nivel olímpico nacional en un plazo de cinco horas.
Cada noche, en un esfuerzo colaborativo global, miembros del equipo en Estados Unidos entregaban un modelo de razonamiento de IA, para luego pasar los resultados a sus compañeros en Europa. Esta dinámica transcontinental permitió a los miembros en Armenia, Finlandia, Alemania e Irlanda del Norte modificar y optimizar los modelos durante el día, en un esfuerzo constante por mejorar su desempeño.
A pesar de los resultados iniciales decepcionantes, el equipo de NVIDIA, compitiendo bajo el nombre NemoSkills para referirse a su uso de los pipelines NeMo-Skills, logró un avance significativo en la etapa final. Su modelo de razonamiento, que combinaba capacidades de lenguaje natural con la ejecución de código en Python, escaló a la cima del ranking al resolver correctamente 34 de las 50 preguntas en el tiempo establecido utilizando una red de cuatro GPUs NVIDIA L4.
El éxito del equipo se atribuyó a su modelo Qwen2.5-14B-Base, que fue afinado sobre millones de soluciones sintéticas generadas por modelos de razonamiento más grandes, DeepSeek-R1 y QwQ-32B. Este procedimiento de destilación de conocimiento dio como resultado un modelo más pequeño y rápido, capaz de abordar problemas complejos mediante un razonamiento prolongado.
Los avances del modelo incluyeron técnicas innovadoras, como el razonamiento paralelo y detención temprana, que permitieron seleccionar respuestas comunes más rápidamente. Además, el uso de la cuantización FP8 y la técnica de decodificación especulativa ReDrafter proporcionaron aceleraciones significativas sobre los formatos más convencionales, estableciendo nuevas pautas para la optimización de inferencia de modelos de lenguaje.
Sin embargo, la victoria en Kaggle no es únicamente un título; NVIDIA planea compartir las técnicas utilizadas y los modelos desarrollados en plataformas abiertas como Hugging Face. A su vez, las optimizaciones integradas en los pipelines NeMo-Skills ya están disponibles en GitHub, reflejando el compromiso de NVIDIA con la comunidad de IA.
Gracias a su primer lugar, el equipo de NVIDIA destinará el premio de $262,144 a la Fundación NVIDIA, con el fin de apoyar a organizaciones benéficas. Los logros individuales de los miembros del equipo también fueron notables: Christof Henkel recuperó su título de Campeón Mundial de Kaggle, mientras que Ivan Sorokin alcanzó el codiciado título de Gran Maestro de Kaggle.
El equipo, compuesto por Igor Gitman, Darragh Hanley, Christof Henkel, Ivan Moshkov, Benedikt Schifferer, Ivan Sorokin y Shubham Toshniwal, continúa su labor en la mejora de los modelos de razonamiento de IA, demostrando que la colaboración y la innovación son claves para enfrentar desafíos tecnológicos complejos.
Fuente: Zona de blogs y prensa de Nvidia
