Las organizaciones están cada vez más integrando capacidades de inteligencia artificial generativa en sus aplicaciones, con el objetivo de mejorar la experiencia del cliente, optimizar operaciones y fomentar la innovación. No obstante, el crecimiento constante de las cargas de trabajo de IA genera nuevos desafíos en cuanto a rendimiento, fiabilidad y disponibilidad de estas aplicaciones impulsadas por inteligencia artificial. Para mantener la coherencia, los clientes buscan ampliar sus cargas de trabajo de inferencia de IA a través de múltiples regiones de AWS.
En respuesta a esta demanda, Amazon Bedrock ha introducido la inferencia cruzada entre regiones (CRIS, por sus siglas en inglés). Esta nueva función redirige automáticamente las solicitudes de inferencia a través de múltiples regiones, permitiendo que las aplicaciones manejen picos de tráfico con facilidad. La CRIS funciona mediante la creación de «perfiles de inferencia» que establecen un modelo base y las regiones destinatarias para las solicitudes.
Recientemente, se ha lanzado la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Esta funcionalidad permite a los usuarios elegir entre un perfil de inferencia específico de una geografía o un perfil global, otorgando una mayor flexibilidad. Amazon Bedrock selecciona automáticamente la región más adecuada para procesar la solicitud de inferencia, optimizando el uso de recursos y permitiendo un mejor rendimiento del modelo, particularmente durante picos de uso no previstos.
La inferencia cruzada global ayuda a las empresas a gestionar imprevistos en el tráfico utilizando recursos computacionales de diferentes regiones. Emplea un mecanismo inteligente que evalúa la disponibilidad, capacidad y latencia para redirigir las solicitudes adecuadamente. Además, Amazon CloudWatch y AWS CloudTrail continúan registrando actividades únicamente en la región de origen, lo que simplifica la gestión y monitoreo, asegurando que la seguridad de los datos quede intacta gracias al cifrado en la red segura de AWS.
Para empezar a utilizar esta nueva funcionalidad con Claude Sonnet 4.5, los desarrolladores deben especificar el ID del perfil de inferencia global y configurar los permisos necesarios mediante AWS Identity and Access Management. La implementación de CRIS no solo mejora el rendimiento y la fiabilidad, sino que también ofrece ahorros de costos, con una reducción aproximada del 10% en precios de tokens de entrada y salida comparado con la inferencia geográfica tradicional.
La evolución de la inferencia cruzada global permite a las empresas optimizar sus aplicaciones de IA, gestionando cargas de trabajo intensas y mejorando la recuperación ante desastres de manera innovadora y eficiente.
