Amazon ha anunciado el lanzamiento de Amazon Bedrock Model Distillation, una innovadora solución destinada a enfrentar uno de los principales desafíos de las organizaciones que implementan inteligencia artificial generativa: mantener un alto rendimiento al mismo tiempo que se reducen los costos y la latencia. Esta técnica permite transferir el conocimiento de modelos de base más grandes y sofisticados, denominados «maestros», a modelos más pequeños y eficientes, llamados «estudiantes». Esto da como resultado modelos especializados que sobresalen en tareas específicas al incorporar técnicas avanzadas de aumento de datos y mejoras de rendimiento, utilizando la familia de modelos Llama de Meta.
Una de las funciones más destacadas de esta nueva herramienta es la capacidad de realizar llamadas a funciones, lo que permite a los modelos interactuar de manera precisa y eficaz con herramientas externas, bases de datos y APIs. Aunque los modelos de mayor tamaño suelen ser los más efectivos para identificar adecuadamente las funciones que deben invocarse, su utilización conlleva mayores costos y tiempos de respuesta. Con Amazon Bedrock Model Distillation, ahora es posible que modelos más pequeños igualen esta precisión en la llamada a funciones, ofreciendo al mismo tiempo tiempos de respuesta más rápidos y un menor costo operativo.
El valor añadido es significativo: las organizaciones pueden desplegar agentes de IA que mantienen una alta precisión en la selección de herramientas y la construcción de parámetros, disfrutando al mismo tiempo de un menor tamaño y un mayor rendimiento. Esto facilita la accesibilidad económica de arquitecturas complejas, haciéndolas aplicables a una variedad más amplia de aplicaciones.
Para una implementación eficaz de Amazon Bedrock Model Distillation, es necesario cumplir con ciertos requisitos, como poseer una cuenta activa de AWS, gestionar los modelos maestros y estudiantes adecuados, tener un bucket de S3 para el almacenamiento de conjuntos de datos y artefactos, y disponer de los permisos de IAM necesarios.
La correcta preparación de datos es fundamental para el éxito de la destilación de funciones. Amazon Bedrock ofrece dos métodos principales para la preparación de datos de entrenamiento: subir archivos JSONL a Amazon S3 o emplear registros de invocación históricos. Es crucial que las especificaciones de herramientas estén adecuadamente formateadas para una destilación exitosa.
Las mejoras introducidas por Amazon Bedrock Model Distillation incluyen un soporte de modelos más amplio y la integración de tecnología avanzada de síntesis de datos, que genera ejemplos de entrenamiento adicionales para incrementar la capacidad del modelo. Asimismo, se ha mejorado la transparencia en el proceso de entrenamiento, permitiendo a los usuarios visualizar cómo se entrenó su modelo y recibir informes sobre los prompts aceptados y rechazados.
Las evaluaciones realizadas demuestran que los modelos destilados para el uso de llamadas a funciones pueden alcanzar una precisión comparable a la de modelos significativamente más grandes, con tiempos de inferencia más rápidos y costos operativos reducidos. Esto permite una implementación escalable de agentes de IA capaces de interactuar con herramientas y sistemas externos en diversas aplicaciones empresariales. La combinación de precisión, velocidad y eficiencia de costos se destaca como un factor crucial para los desarrolladores que buscan maximizar el potencial de la inteligencia generativa en sus aplicaciones.
