EleutherAI es un laboratorio de investigación en inteligencia artificial sin ánimo de lucro especializado en interpretabilidad y alineación de modelos grandes. Empezó en julio de 2020 como un servidor de Discord donde Connor Leahy, Sid Black y Leo Gao discutían el funcionamiento de GPT-3 y, con el tiempo, ha pasado de comunidad informal a referencia académica en investigación abierta sobre modelos de lenguaje (LLM, large language models) a gran escala.
El proyecto se constituyó como organización sin ánimo de lucro en 2023 con sede operativa en Estados Unidos. La primera línea de trabajo fue publicar modelos preentrenados que cualquiera pudiera estudiar; la segunda, ofrecer herramientas para entender qué pasa por dentro cuando un LLM responde. Esa segunda parte (interpretabilidad y alineación) es la que hoy concentra la mayor parte de las horas del equipo.
De un canal de Discord a referencia académica
EleutherAI sigue funcionando, en gran medida, a través de su servidor público de Discord. Allí se coordinan los proyectos, se comentan papers y se piden manos para tareas concretas. El laboratorio no distingue formalmente entre empleados, voluntarios y miembros de otras instituciones: la conversación es la misma para todos, aunque está pensada para gente con base técnica. A quien llega para aprender se le pide que lea y observe antes de intervenir.
La plantilla actual ronda las dos docenas de investigadores entre tiempo completo y parcial, con otra docena larga de voluntarios habituales y colaboradores externos vinculados a universidades y empresas. Es un equipo pequeño para el volumen de trabajo que firman, lo que explica por qué dependen tanto de la red de contribuidores y de socios académicos para entrenar modelos en clusters cedidos.
Por qué nació: contrapeso a la concentración del sector
El argumento que repite el laboratorio es sencillo: entrenar un LLM grande cuesta millones, así que casi todo el trabajo de frontera lo hacen un puñado de empresas y unas pocas startups bien financiadas. Si solo OpenAI, Anthropic, Google o Meta pueden permitirse entrenar modelos de cierto tamaño, también son ellas las que deciden qué se estudia sobre esos modelos y qué no se publica.
EleutherAI defiende que la investigación independiente sobre interpretabilidad y seguridad solo es viable si hay modelos abiertos comparables, con pesos descargables y datos de entrenamiento documentados. De ahí su empeño en liberar tanto los modelos como los conjuntos de datos, empezando por The Pile, un corpus de 825 GB que se ha convertido en referencia para entrenar LLM no comerciales.
Modelos publicados: de GPT-Neo a Pythia
El laboratorio firma o coautoría algunos de los modelos abiertos más usados de los últimos años: GPT-Neo (2,7B parámetros, 2021), GPT-J (6B, 2021), GPT-NeoX-20B (2022) y la familia Pythia (de 70M a 12B parámetros, pensada de origen para estudios de interpretabilidad). También participó en BLOOM, el modelo multilingüe de 176B parámetros entrenado bajo el paraguas de BigScience junto a Hugging Face.
En el lado de imagen y multimodal, EleutherAI contribuyó a VQGAN-CLIP (precursor de la actual generación texto-imagen), participó en los primeros pasos de Stable Diffusion junto a Stability AI y colaboró con OpenFold, una reimplementación abierta de AlphaFold 2. Sus repos en Hugging Face y GitHub acumulan decenas de millones de descargas. No alcanzan el volumen de los modelos comerciales, pero sí los sitúan como una de las fuentes principales para investigación académica.
Si te interesa el contexto de modelos abiertos, hay análisis útiles en este repaso de los mejores LLM de código abierto, en la cobertura de MPT-7B y en el lanzamiento de StableLM por Stability AI, proyecto en el que también participaron miembros del laboratorio.
El giro hacia interpretabilidad y alineación
Con el acceso público a modelos preentrenados de gran tamaño ya cubierto, el foco ha ido cambiando. La pregunta que más recursos consume hoy en EleutherAI no es cómo entrenar otro LLM, sino cómo entender los que ya hay: estudiar la atención de los modelos, identificar qué partes de la red representan qué conceptos y medir comportamientos no deseados antes de que lleguen a producción. Es una línea que conecta directamente con el trabajo que Anthropic ha publicado sobre cómo razonan sus modelos y con los esfuerzos por auditar redes desde fuera.
El equipo trabaja también en métodos de evaluación que vayan más allá de los benchmarks clásicos (MMLU, HumanEval, MATH) y en marcos para auditar modelos cerrados desde fuera, una línea que conecta con la regulación europea (AI Act) y los debates en EE. UU. sobre acceso de terceros a sistemas de frontera. La tesis del laboratorio es clara: la gobernanza de la IA necesita investigadores independientes capaces de mirar dentro, no solo de evaluar la salida.
El movimiento por abrir la ciencia tiene paralelos fuera de la IA. La Comisión Europea, por ejemplo, ha impulsado Open Research Europe, una plataforma de publicación abierta a la que España se ha sumado para que los resultados de investigación financiada con fondos públicos sean accesibles sin pagar suscripciones.
Publicaciones y reconocimiento académico
EleutherAI firma o coautoría más de un centenar de papers, con presencia habitual en conferencias como NeurIPS, ACL, ICLR, EMNLP y FAccT. The Pile y la familia Pythia aparecen citadas en cualquier trabajo serio sobre escalado de LLM y dinámicas de entrenamiento. Además, la organización mantiene la librería GPT-NeoX y publica guías técnicas que otros laboratorios han adoptado para reproducir resultados.
Limitaciones y críticas
El modelo de EleutherAI tiene puntos débiles que el propio laboratorio reconoce. La dependencia de cómputo donado limita el tamaño máximo al que pueden entrenar y obliga a colaborar con socios cuyo calendario no controlan. La estructura de comunidad abierta funciona para investigación, pero encaja mal con proyectos que exigen confidencialidad, como auditorías privadas a modelos de terceros. Y hay un debate recurrente sobre si publicar pesos de modelos cada vez más capaces es siempre lo más prudente, una crítica que ha aparecido también con otros lanzamientos abiertos como gpt-oss de OpenAI.
Preguntas frecuentes
¿Qué es EleutherAI exactamente?
Un laboratorio de investigación en IA sin ánimo de lucro fundado en 2020 y constituido formalmente como organización en 2023. Se centra en publicar modelos abiertos, conjuntos de datos como The Pile y trabajo de interpretabilidad y alineación de LLM.
¿Qué modelos ha publicado EleutherAI?
Los más conocidos son GPT-Neo, GPT-J-6B, GPT-NeoX-20B y la familia Pythia (de 70M a 12B parámetros). También participaron en BLOOM, VQGAN-CLIP, los primeros desarrollos de Stable Diffusion y OpenFold.
¿Cómo se financia un laboratorio sin ánimo de lucro de IA?
EleutherAI combina donaciones, becas de investigación, contratos puntuales con empresas para tareas de evaluación e interpretabilidad y cómputo cedido por proveedores como CoreWeave o socios académicos. No vende un producto comercial.
¿Por qué importa que existan laboratorios como este?
Porque la investigación independiente sobre interpretabilidad, sesgos y seguridad de los LLM exige tener acceso a modelos comparables a los comerciales, con pesos abiertos y documentación del entrenamiento. Si todo el trabajo de frontera queda dentro de un puñado de empresas, esa fiscalización externa se vuelve imposible.
¿Cómo puedo colaborar con EleutherAI?
El punto de entrada habitual es el servidor de Discord enlazado desde su web. Allí hay canales por proyecto donde se reparten tareas concretas. Para una colaboración formal o donaciones, el contacto está disponible en eleuther.ai. Se espera familiaridad previa con el área antes de pedir tarea.
