Stability AI ha lanzado un innovador modelo de lenguaje de código abierto llamado StableLM. La versión Alpha del modelo se encuentra disponible en versiones de 3 mil millones y 7 mil millones de parámetros, con modelos de 15 mil millones a 65 mil millones de parámetros en camino. Los desarrolladores pueden inspeccionar, utilizar y adaptar los modelos base de StableLM para fines comerciales o de investigación, sujetos a los términos de la licencia CC BY-SA-4.0.
En 2022, Stability AI impulsó el lanzamiento público de Stable Diffusion, un revolucionario modelo de imágenes que representa una alternativa transparente, abierta y escalable a la inteligencia artificial propietaria. Con el lanzamiento de la serie de modelos StableLM, Stability AI continúa haciendo accesible la tecnología fundamental de la IA para todos. Los modelos StableLM pueden generar texto y código, y alimentarán una variedad de aplicaciones posteriores. Estos modelos demuestran cómo los modelos pequeños y eficientes pueden ofrecer un alto rendimiento con la capacitación adecuada.
El lanzamiento de StableLM se basa en la experiencia previa de código abierto de modelos de lenguaje junto a EleutherAI, un centro de investigación sin fines de lucro. Estos modelos de lenguaje incluyen GPT-J, GPT-NeoX y la suite Pythia, que fueron entrenados en el conjunto de datos de código abierto The Pile. Muchos modelos de lenguaje de código abierto recientes continúan basándose en estos esfuerzos, incluidos Cerebras-GPT y Dolly-2.
StableLM está entrenado en un nuevo conjunto de datos experimental basado en The Pile, pero tres veces más grande con 1.5 billones de tokens de contenido. Stability AI lanzará detalles sobre el conjunto de datos próximamente. La riqueza de este conjunto de datos otorga a StableLM un rendimiento sorprendentemente alto en tareas conversacionales y de codificación, a pesar de su tamaño relativamente pequeño de 3 a 7 mil millones de parámetros (en comparación, GPT-3 tiene 175 mil millones de parámetros).
Stability AI también presenta un conjunto de modelos de investigación que están ajustados por instrucciones. Inicialmente, estos modelos ajustados utilizarán una combinación de cinco conjuntos de datos de código abierto recientes para agentes conversacionales: Alpaca, GPT4All, Dolly, ShareGPT y HH. Estos modelos ajustados están destinados únicamente para uso en investigación y se lanzan bajo una licencia no comercial CC BY-NC-SA 4.0, en línea con la licencia Alpaca de Stanford.
Los modelos de lenguaje, como StableLM, formarán la columna vertebral de la economía digital y Stability AI desea que todos tengan voz en su diseño. Los modelos de StableLM demuestran el compromiso de Stability AI con la tecnología de inteligencia artificial que es transparente, accesible y de apoyo. Los modelos están disponibles en el repositorio de GitHub de Stability AI. La compañía publicará un informe técnico completo en el futuro cercano y espera colaborar continuamente con desarrolladores e investigadores mientras implementa la serie StableLM. Además, Stability AI iniciará su programa de RLHF impulsado por la comunidad y trabajará con esfuerzos comunitarios, como Open Assistant, para crear un conjunto de datos de código abierto para asistentes de inteligencia artificial.
Stability AI se esfuerza por lograr tres objetivos clave con sus modelos de IA:
- Transparencia: Al poner a disposición sus modelos en código abierto, Stability AI promueve la transparencia y fomenta la confianza. Los investigadores pueden «mirar bajo el capó» para verificar el rendimiento, trabajar en técnicas de interpretabilidad, identificar riesgos potenciales y ayudar a desarrollar salvaguardias. Las organizaciones del sector público y privado pueden adaptar (o «ajustar») estos modelos de código abierto para sus propias aplicaciones sin compartir sus datos confidenciales ni renunciar al control de sus capacidades de IA.
- Accesibilidad: Stability AI diseña sus modelos pensando en el usuario, permitiendo que los dispositivos locales ejecuten sus modelos. Al usar estos modelos, los desarrolladores pueden crear aplicaciones independientes compatibles con hardware ampliamente disponible en lugar de depender de servicios propietarios de una o dos empresas. De esta manera, los beneficios económicos de la IA se comparten entre una amplia comunidad de usuarios y desarrolladores. El acceso abierto y detallado a sus modelos permite a la amplia comunidad de investigación y académica desarrollar técnicas de interpretabilidad y seguridad más allá de lo posible con modelos cerrados.
- Apoyo: Stability AI crea modelos para respaldar a sus usuarios, no para reemplazarlos. La compañía se centra en el rendimiento eficiente, especializado y práctico de la IA, en lugar de buscar una inteligencia divina. Desarrollan herramientas que ayudan a las personas y a las empresas a utilizar la IA para impulsar la creatividad, aumentar la productividad y abrir nuevas oportunidades económicas.
Stability AI avanza con la serie StableLM, demostrando su compromiso con la creación de tecnologías de inteligencia artificial que sean transparentes, accesibles y de apoyo para todos los usuarios.
Fuente: Stability.ai
