Amazon ha lanzado oficialmente Amazon Bedrock Intelligent Prompt Routing, una herramienta innovadora destinada a optimizar la interacción con modelos de lenguaje mediante un enrutamiento inteligente de solicitudes. Dirigida a mejorar tanto el costo como la calidad de las respuestas, esta funcionalidad ha sido desarrollada con base en una versión preliminar disponible desde diciembre y ahora está lista para su implementación general.
Esta nueva herramienta de Amazon permite predecir de manera dinámica la calidad de respuesta de diferentes modelos a una solicitud específica. Así, las peticiones se dirigen al modelo más adecuado, maximizando la relación costo-calidad. Esta característica es especialmente relevante para las aplicaciones de inteligencia artificial generativa, donde el uso de grandes modelos de lenguaje es esencial.
Con la llegada de su versión general, Amazon Bedrock ha incorporado mejoras significativas basadas en el feedback de los usuarios y pruebas internas. La herramienta ofrece la opción de utilizar enrutadores de prompts predeterminados o crear configuraciones personalizadas que se adapten a las necesidades específicas de los usuarios. Los enrutadores predeterminados facilitan la implementación, ofreciendo soluciones listas para usar con una configuración mínima.
La lista de familias de modelos disponibles ha sido ampliada por Amazon, e incluye a los reconocidos Nova, Anthropic y Meta, con modelos destacados como Claude y Llama. Los usuarios ahora tienen la libertad de crear sus propios enrutadores personalizados, seleccionando los modelos y la manera de enrutarlos según sus preferencias.
Una de las mejoras más destacadas es la reducción del tiempo de procesamiento en más del 20%, obteniendo un rendimiento de alrededor de 85 milisegundos en el percentil 90. Esto no solo mejora la latencia, sino que también reduce los costos al preferir modelos más económicos sin comprometer la precisión de las tareas.
Las pruebas internas han mostrado que el uso de Amazon Bedrock Intelligent Prompt Routing puede generar ahorros significativos, hasta un 60% en ciertas configuraciones. No obstante, se recomienda que los usuarios prueben la herramienta en sus respectivos casos para maximizar los beneficios, ya que la efectividad puede variar según la naturaleza de la tarea y los modelos utilizados.
Para facilitar la integración y uso de esta herramienta, Amazon ha proporcionado una variedad de recursos y guías a través de la consola de gestión de AWS, la interfaz de línea de comandos y API. Con ello, se anima a desarrolladores y empresas a explorar las posibilidades que ofrece esta innovadora solución en el ámbito de la inteligencia artificial generativa.
