Hugging Face anuncia el lanzamiento de su servicio de IA Generativa HUGS (Hugging Face Generative AI Services), una solución de microservicios de inferencia optimizados y sin configuración, diseñada para simplificar y acelerar el desarrollo de aplicaciones de IA con modelos abiertos. Construido sobre las tecnologías de Hugging Face, como Text Generation Inference y Transformers, HUGS ofrece una solución eficiente para construir y escalar aplicaciones de IA Generativa en infraestructuras propias. Además, HUGS está optimizado para ejecutarse en una amplia variedad de aceleradores de hardware, incluidos GPUs de NVIDIA, AMD y pronto en AWS Inferentia y Google TPUs.
Despliegue sin configuración de inferencia optimizada para modelos abiertos
Una de las mayores dificultades que enfrentan los desarrolladores y las organizaciones es la complejidad de optimizar las cargas de trabajo de inferencia para modelos de lenguaje de gran escala (LLM) en un GPU o acelerador de IA específico. Con HUGS, este desafío se resuelve mediante configuraciones probadas que maximizan el rendimiento, lo que permite el despliegue de los modelos LLM más populares sin necesidad de configuraciones adicionales.
Además, HUGS proporciona una API compatible con OpenAI, lo que permite a las empresas reemplazar fácilmente los servicios actuales basados en proveedores de modelos cerrados, y utilizar modelos abiertos alojados en sus propias infraestructuras.
¿Por qué elegir HUGS?
HUGS ofrece una solución sencilla para desarrollar aplicaciones de IA con modelos abiertos en infraestructuras propias, con varias ventajas clave:
- En tu propia infraestructura: Despliega modelos abiertos dentro de tu entorno seguro, manteniendo los datos fuera de la red pública.
- Despliegue sin configuración: Reduce el tiempo de implementación de semanas a minutos con configuraciones automáticas optimizadas para GPUs de NVIDIA, AMD o aceleradores de IA.
- Flexibilidad de hardware: Ejecuta HUGS en una variedad de aceleradores, incluidos GPUs de NVIDIA y AMD, con soporte próximo para AWS Inferentia y Google TPUs.
- Estándares de la industria: Compatible con Kubernetes y la API de OpenAI, lo que minimiza los cambios de código.
- Cumplimiento empresarial: HUGS ofrece soporte a largo plazo, pruebas rigurosas y cumplimiento SOC2, asegurando la seguridad y la estabilidad para las empresas.
Comentarios de los primeros usuarios de HUGS
Varios clientes empresariales han probado HUGS, obteniendo resultados notables:
- Henri Jouhaud, CTO de Polyconseil afirmó: «HUGS ahorra tiempo al desplegar modelos listos para trabajar con un buen rendimiento. Lo que antes nos llevaba una semana, ahora se completa en menos de una hora».
- Ghislain Putois, Ingeniero de Investigación en Orange, señaló: «Probamos HUGS para desplegar Gemma 2 en GCP con un GPU L4, y no tuvimos que preocuparnos por las bibliotecas o parámetros; funcionó directamente».
Cómo comenzar con HUGS
HUGS está disponible en diversas plataformas, incluidas Amazon Web Services (AWS), Google Cloud Platform y DigitalOcean, y próximamente en Microsoft Azure. El servicio tiene precios a demanda, con un costo de 1 dólar por hora por contenedor en AWS y GCP, mientras que en DigitalOcean solo se aplican los costos de GPU Droplets.
Modelos y hardware compatibles
HUGS se lanza con soporte para 13 modelos populares de LLMs, incluidos los de Meta y Google. Estos modelos están optimizados para ejecutarse en diversas configuraciones de hardware, proporcionando a los usuarios flexibilidad y opciones según sus necesidades de procesamiento de IA.
Conclusión
HUGS simplifica la implementación y escalabilidad de aplicaciones de IA basadas en modelos abiertos, proporcionando a las empresas control total sobre su infraestructura. Con capacidades de inferencia optimizadas y una integración fluida en infraestructuras existentes, HUGS ofrece una solución robusta para llevar las aplicaciones de IA al siguiente nivel.
Con HUGS, las empresas pueden aprovechar modelos abiertos y asegurarse de que sus aplicaciones de IA estén listas para el futuro, con el soporte de Hugging Face y su tecnología de vanguardia.
vía: Hugging face
