Los grandes modelos de lenguaje se han vuelto indispensables para generar respuestas inteligentes y matizadas en una amplia variedad de casos de uso empresarial. Sin embargo, muchas empresas poseen datos únicos y casos de uso que requieren personalizar estos modelos más allá de sus capacidades predeterminadas. Amazon Bedrock es un servicio completamente gestionado que ofrece una selección de modelos fundamentales de alto rendimiento de empresas líderes en IA como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon a través de una única API. Además, brinda un amplio conjunto de capacidades necesarias para construir aplicaciones de inteligencia artificial generativa con seguridad, privacidad e inteligencia artificial responsable.
Para habilitar una personalización segura y escalable de modelos, Amazon Web Services (AWS) anunció en el evento AWS re:Invent 2023 la compatibilidad con la personalización de modelos en Amazon Bedrock. Esta funcionalidad permite a los clientes realizar un preentrenamiento adicional de los modelos seleccionados utilizando sus propios datos propietarios, adaptando así las respuestas del modelo al contexto empresarial específico. La calidad del modelo personalizado depende de varios factores, incluida la calidad de los datos de entrenamiento y los hiperparámetros utilizados en la personalización. Esto obliga a los clientes a realizar múltiples iteraciones para desarrollar el mejor modelo personalizado que satisfaga sus necesidades.
Para abordar este desafío, AWS ha anunciado una integración nativa entre Amazon Bedrock y AWS Step Functions. Esta integración permite a los clientes orquestar flujos de trabajo repetibles y automatizados para personalizar los modelos de Amazon Bedrock. En una demostración reciente, se utilizó un caso de uso de resumen utilizando el modelo Cohere Command Light en Amazon Bedrock. Este flujo de trabajo puede adaptarse a otros modelos pasando el ID del modelo base y los hiperparámetros necesarios, realizando pequeños cambios específicos del modelo en el flujo de trabajo.
El proceso comienza con la carga de datos de entrenamiento en formato JSON Line en un bucket de Amazon S3. A continuación, se inicia la máquina de estado de Step Functions CustomizeBedrockModel con parámetros de entrada como el modelo a personalizar, los hiperparámetros y las ubicaciones de los datos de entrenamiento. Este flujo de trabajo invoca la API CreateModelCustomizationJob de Amazon Bedrock para afinar el modelo base. Una vez creado el modelo personalizado, se evalúa su desempeño comparado con el modelo base. Si el modelo personalizado no supera al modelo base, se elimina el throughput provisionado y se notifica al usuario por correo electrónico.
El flujo de trabajo automatizado, que incluye entrenamiento, evaluación y monitoreo de modelos, reduce los tiempos de desarrollo y maximiza el valor de Amazon Bedrock para necesidades empresariales únicas. AWS también ha proporcionado una guía de usuario y las herramientas necesarias como AWS Serverless Application Model (SAM) para desplegar la infraestructura requerida.
Finalmente, este enfoque permite a las empresas personalizar grandes modelos de lenguaje con la infraestructura adecuada y conocimientos especializados en aprendizaje automático, eliminando muchos de los desafíos operativos asociados con la personalización de modelos.
vía: AWS machine learning blog
