EleutherAI es un laboratorio de investigación de inteligencia artificial sin fines de lucro que se enfoca en la interpretación y alineación de modelos grandes. Fundada en julio de 2020 por Connor Leahy, Sid Black y Leo Gao, EleutherAI ha crecido desde un servidor de Discord para hablar de GPT-3 hasta convertirse en un instituto líder de investigación sin fines de lucro enfocado en la investigación de inteligencia artificial a gran escala. Su trabajo se ha centrado históricamente en proporcionar acceso a tecnologías de inteligencia artificial de vanguardia mediante la capacitación y la liberación de modelos, y en promover las normas de ciencia abierta en el procesamiento del lenguaje natural. Con el acceso público a modelos de inteligencia artificial pre-entrenados a gran escala, su enfoque está cambiando hacia la investigación de la interpretación y alineación de la inteligencia artificial.
EleutherAI opera principalmente a través de su servidor público de Discord, donde se discuten las investigaciones en el campo y se coordinan sus proyectos. La organización abraza un modelo de investigación abierto y colaborativo, y su servidor de Discord no diferencia entre empleados, voluntarios y colaboradores de otras instituciones. Sin embargo, su comunidad se enfoca específicamente en los investigadores y la discusión a nivel de investigación, y se pide que las personas interesadas en aprender sobre la investigación de inteligencia artificial principalmente observen.
EleutherAI emplea a dos docenas de investigadores a tiempo completo y parcial, quienes trabajan junto a una docena de voluntarios regulares y colaboradores externos.
La misión de EleutherAI es el desarrollo de modelos de lenguaje basados en transformadores, especialmente GPT-3, que ha aumentado el interés en la investigación de aprendizaje automático a gran escala. Lamentablemente, debido a los altos costos y las habilidades requeridas para avanzar en el campo, el mundo de la investigación de inteligencia artificial a gran escala está dominado hoy en día por unas pocas grandes empresas tecnológicas y startups.
En EleutherAI, se cree que estas tecnologías son altamente prometedoras y potencialmente peligrosas. Sin embargo, no se cree firmemente que las decisiones sobre el futuro de estas tecnologías deban estar restringidas a los empleados de unas pocas empresas que las desarrollan para obtener ganancias. La investigación de la interpretación y alineación es de suma importancia para la gobernanza de la inteligencia artificial. A medida que se desarrollan y despliegan sistemas de aprendizaje automático cada vez más potentes, es crucial que los investigadores independientes puedan estudiarlos.
Por lo tanto, la organización busca avanzar en la investigación de la interpretación y alineación de los modelos fundamentales, asegurar que la capacidad de estudiar los modelos fundamentales no esté restringida a unas pocas empresas y educar a las personas sobre las capacidades, limitaciones y riesgos asociados con estas tecnologías.
EleutherAI ha desarrollado o ayudado a desarrollar muchos de los modelos públicamente disponibles más potentes del mundo, incluidos GPT-J, GPT-NeoX, BLOOM, VQGAN-CLIP, Stable Diffusion y OpenFold. Sus modelos han sido descargados más de 25 millones de veces, lo que permite investigaciones de vanguardia sobre interpretación, ética, dinámica de capacitación y más. La investigación de EleutherAI ha dado lugar a más de 35 publicaciones, incluyendo en las principales conferencias de aprendizaje automático y procesamiento del lenguaje natural como NeurIPS, ACL, ICLR y FAccT.
El enfoque de EleutherAI en la investigación abierta y colaborativa ha llevado a una serie de logros notables en el campo de la inteligencia artificial. En particular, su modelo GPT-NeoX estableció un nuevo récord en la tarea de generación de lenguaje natural conocida como Pile, superando a los modelos anteriores por un amplio margen. Además, el modelo VQGAN-CLIP ha sido ampliamente utilizado por artistas y diseñadores para generar imágenes únicas y estéticamente atractivas.
La organización también ha estado trabajando en herramientas para mejorar la interpretación de los modelos de inteligencia artificial. Por ejemplo, el proyecto OpenMined de EleutherAI está explorando enfoques para la construcción de modelos que preserven la privacidad de los datos mientras siguen siendo altamente precisos. EleutherAI también está trabajando en herramientas para el análisis de la atención de los modelos, lo que puede ayudar a los investigadores a comprender mejor cómo los modelos procesan la información.
En resumen, EleutherAI es una organización sin fines de lucro dedicada a la investigación de inteligencia artificial a gran escala. Su enfoque en la investigación abierta y colaborativa ha llevado a una serie de logros notables en el campo, incluyendo el desarrollo de algunos de los modelos más poderosos públicamente disponibles en el mundo. Además, la organización está trabajando para mejorar la interpretación de los modelos de inteligencia artificial y para garantizar que la investigación de inteligencia artificial no esté restringida a unas pocas empresas y startups. Con su compromiso con la investigación abierta y colaborativa, EleutherAI está liderando el camino hacia un futuro más accesible y transparente para la investigación de inteligencia artificial.
