Investigadores de Stanford, MIT y Princeton publicaron en octubre de 2023 el Índice de Transparencia en Modelos Fundacionales (FMTI, por sus siglas en inglés), un sistema de puntuación de 100 indicadores que mide cuánto revelan las grandes empresas de IA sobre cómo construyen, entrenan y despliegan sus modelos. Los resultados no dejan en buen lugar al sector: la puntuación más alta fue un 54 sobre 100, conseguida por Meta, y la más baja apenas llegó a 12.
El estudio, liderado por Rishi Bommasani desde el Centro de Investigación sobre Modelos Fundacionales (CRFM) de Stanford HAI, evalúa 10 compañías del sector. OpenAI, cuyo nombre lleva la palabra «open», afirmó de forma explícita que no sería transparente en la mayoría de aspectos de GPT-4. Eso ya dice bastante del estado del mercado.
Cómo funciona el FMTI
El FMTI evalúa 100 indicadores agrupados en tres áreas: cómo se construye el modelo (datos, proceso de entrenamiento, arquitectura), cómo funciona (capacidades, limitaciones, comportamiento ante fallos) y cómo se aplica (políticas de uso, canales de distribución, impacto en usuarios finales). Cada indicador se puntuar en función de si la información está publicada, es verificable y es suficientemente detallada.
El equipo recopiló información públicamente disponible sobre cada modelo y presentó un borrador de calificaciones a las empresas para que pudieran responder antes de la publicación. La metodología completa se recoge en un documento de 100 páginas disponible en la web de Stanford HAI.
Los resultados: nadie pasa del 54
Meta obtuvo la puntuación más alta con un 54/100, seguida por otras compañías entre 47 y 54. La mayoría se queda lejos de cualquier nivel que se pueda calificar como aceptable. Pero lo que quizá resulta más revelador no es cuánto saca cada empresa, sino qué aspectos concretos suspendan de forma colectiva.
Ninguna empresa publica datos sobre cuántos usuarios dependen de su modelo, ni estadísticas sobre las geografías o sectores que lo utilizan. Esa información es relevante tanto para reguladores como para organizaciones que quieren valorar el riesgo de depender de un modelo concreto. Entender para qué se usan en la práctica estos modelos pasa por saber cómo se construyen: la guía sobre cómo funcionan los grandes modelos de lenguaje ofrece ese contexto técnico.
Por qué importa la transparencia
Bommasani apunta que la falta de transparencia en IA reproduce un problema que ya hemos visto en otras tecnologías digitales: prácticas oscuras en moderación de contenido, en algoritmos de recomendación y en políticas de datos. La diferencia es que los modelos fundacionales tienen un alcance que supera al de la mayoría de plataformas previas: se usan para redactar documentos legales, asistir en diagnósticos médicos o guiar decisiones de contratación.
Percy Liang, director del CRFM, añade que la transparencia es necesaria para que las políticas públicas sobre IA funcionen. La Unión Europea, con su AI Act en elaboración, ha convertido la trazabilidad y la transparencia en requisitos clave para los modelos de propósito general. El FMTI busca precisamente identificar dónde tienen más lagunas las empresas para orientar ese tipo de regulación. La adopción empresarial de modelos como Claude, que ya llega a soluciones de negocio como SAP, hará que estas exigencias de transparencia sean cada vez más relevantes.
El estudio completo está disponible en HAI Stanford.
Preguntas frecuentes
¿Qué es el Índice FMTI de Stanford?
El Foundation Model Transparency Index (FMTI) es un sistema de puntuación de 100 indicadores desarrollado por investigadores de Stanford, MIT y Princeton para medir cuánto revelan las empresas sobre cómo construyen, entrenan y despliegan sus modelos de IA fundacionales.
¿Qué empresa obtuvo la puntuación más alta?
Meta obtuvo la puntuación más alta en el FMTI con 54 sobre 100. El resto de empresas obtuvo entre 47 y 12 puntos. Ninguna supera el 54, lo que indica que todo el sector tiene margen amplio de mejora en transparencia.
¿Qué aspectos evalúa el FMTI?
El FMTI evalúa 100 indicadores en tres bloques: cómo se construye el modelo (datos, entrenamiento, arquitectura), cómo funciona (capacidades, limitaciones, fallos) y cómo se aplica (políticas de uso, distribución, impacto en usuarios). La información debe ser pública y verificable para puntuar.
¿Cómo afecta el FMTI a la regulación de la IA?
El FMTI busca informar a legisladores sobre dónde tienen más lagunas las empresas. La Unión Europea ha tomado la transparencia como uno de los ejes del AI Act, que exige trazabilidad y documentación para los modelos de propósito general. Los autores esperan que el índice ayude a enfocar ese marco regulatorio.
