Las empresas están adoptando modelos de lenguaje de gran escala a través de Amazon Bedrock para analizar y extraer conclusiones de sus datos internos. Amazon Bedrock, un servicio completamente gestionado, ofrece modelos de inteligencia artificial de proveedores destacados como AI21 Labs, Anthropic y Amazon, a través de una única API. Este servicio también se centra en garantizar la seguridad, privacidad y responsabilidad de la IA.
A pesar de las ventajas, las organizaciones que emplean inteligencia artificial conversacional enfrentan desafíos en las consultas complejas, que requieren lógica y razonamiento, demorando el procesamiento y afectando la experiencia del usuario. Este problema es crítico en sectores regulados, como las finanzas, donde se demandan altos estándares de seguridad. Un ejemplo de ello es una organización financiera con activos por más de 1.5 billones de dólares, que buscaba mejorar su IA conversacional sin comprometer la seguridad.
AWS AppSync se presenta como una solución, permitiendo a los desarrolladores crear APIs GraphQL en tiempo real. Utilizando suscripciones de AWS AppSync y puntos finales de streaming de Amazon Bedrock, se optimizan las respuestas de los modelos de lenguaje. La solución permite manejar solicitudes de manera asíncrona, con AWS Lambda interactuando con la API de Bedrock, transmitiendo respuestas de manera incremental al usuario.
La arquitectura propuesta sigue varios pasos para garantizar respuestas en tiempo real. Una aplicación de interfaz de usuario se conecta a un WebSocket para recibir las respuestas de su consulta de forma inmediata. Este método reduce el tiempo de respuesta para consultas complejas de unos 10 segundos a entre 2 y 3 segundos, mejorando significativamente la experiencia del usuario.
La implementación de esta integración entre Amazon Bedrock y AWS AppSync demuestra su eficacia al reducir tiempos de respuesta y mejorar la interacción del usuario. Empresas del sector financiero pueden así ajustar sus sistemas para mejorar la satisfacción del usuario, disminuir las tasas de abandono e incrementar el compromiso con sus aplicaciones.
