Alpa es un sistema de código abierto para el entrenamiento y el servido de redes neuronales a gran escala. Alpa tiene como objetivo automatizar el entrenamiento y el servido distribuido a gran escala con solo unas pocas líneas de código. Alpa fue desarrollado inicialmente por personas en el Sky Lab, UC Berkeley. Algunas técnicas avanzadas utilizadas en Alpa se han escrito en un artículo publicado en OSDI 2022. La comunidad de Alpa está creciendo con nuevos contribuyentes de Google, Amazon, AnyScale y más.
¿Qué son los modelos de lenguaje y GPT-3? ¿Podría dar una introducción más general sobre ellos y sus aplicaciones?
Un modelo de lenguaje es una distribución de probabilidad sobre secuencias de palabras. Predice la próxima palabra en base a todas las anteriores. Es útil para una variedad de aplicaciones de IA, como la autocompleción en su correo electrónico o el servicio de chatbot. Para obtener más información, consulte la página de Wikipedia del modelo de lenguaje.
GPT-3 es un modelo de lenguaje muy grande, con 175 mil millones de parámetros, que utiliza aprendizaje profundo para producir texto parecido al humano. Muchos investigadores y artículos de noticias describieron a GPT-3 como «uno de los sistemas de IA más interesantes e importantes jamás producidos». GPT-3 se está utilizando gradualmente como columna vertebral en la última investigación y aplicaciones de PLN.
Debido a su tamaño gigantesco, entrenar y servir a GPT-3 es muy difícil y caro, y plantea desafíos significativos para los sistemas de software subyacentes. El GPT-3 original entrenado por OpenAI es de código cerrado y se desarrolla como un servicio con cargo — al usarlo, los usuarios tienen que pagar por cada token generado.
¿Qué es OPT-175B? ¿Cómo se compara con GPT-3?
OPT-175B es un modelo equivalente a GPT-3 entrenado por Meta. Es, con mucho, el modelo de lenguaje preentrenado más grande disponible con 175 mil millones de parámetros. Además se pueden solicitar el acceso a los pesos entrenados, que a futuro se espera estén 100% liberados. Para obtener un rendimiento detallado de OPT-175B, consulte el documento OPT.
¿Cuántas GPUs son necesarias para ejecutar el servicio de servidor para OPT-175B o GPT-3?
Depende de qué tipos de GPUs se usan. Una restricción dura ahora es que la memoria GPU total en el clúster debe ser mayor a 350 GB para poder ejecutar con éxito el modelo de inferencia. Muchos sistemas de entrenamiento o servidor existentes suelen confiar en el uso de las últimas generaciones de GPUs con la mayor capacidad de memoria, como 80 GB A100. Por el contrario, Alpa, debido a su backend más poderoso, permite servir OPT-175B con más paralelismos flexibles en generaciones anteriores de GPUs, como 40GB A100, V100, T4, M60, etc.
Toma un ejemplo, si eliges usar GPUs V100 de 16 GB, entonces necesitarías 350 / 16 = 22 GPUs V100 para ejecutar el servicio.
Están trabajando en una función para permitir el servidor de modelos incluso si no tienes suficiente memoria de GPU, seguro que muy pronto veremos más novedades en ese proyecto libre.
¿El gratis el modelo de datos de alpa?
No. Este es un servicio público proporcionado por los autores de Alpa y los patrocinadores. Su uso de este servicio está sujeto a la licencia de código abierto de Alpa. Su uso del modelo OPT-175B está sujeto a la licencia OPT-175B de Meta, que limita el uso a fines de investigación. Si bien el código liberado nos permite entrenar nuestros propios modelos de datos.
Hecho con una IA.
