AWS ha lanzado AppSync Events, una nueva funcionalidad diseñada para crear APIs Websocket que sean más seguras y escalables. Esta herramienta está configurada para mejorar la transmisión de eventos en tiempo real a millones de suscriptores, asegurando al mismo tiempo una baja latencia en las interacciones entre modelos de inteligencia artificial generativa y los usuarios finales. Este avance promete mejorar significativamente la experiencia del usuario en aplicaciones de IA, permitiendo respuestas casi instantáneas a sus solicitudes.
En un artículo reciente, AWS explicó cómo AppSync Events puede ser la base para desarrollar una arquitectura de gateway de IA sin servidor. Esta funcionalidad se integra con otros servicios de AWS, brindando así un conjunto completo de capacidades para respaldar arquitecturas de gateway de IA. Para facilitar a los desarrolladores esta transición, AWS ha dispuesto ejemplos de código que se pueden implementar directamente en las cuentas de los usuarios.
El concepto de AI Gateway se propone como un patrón de middleware arquitectónico que incrementa la disponibilidad, la seguridad y la visibilidad de los grandes modelos de lenguaje (LLMs). Esta arquitectura aborda las diversas necesidades de diferentes actores dentro de una organización: los usuarios requieren respuestas rápidas y fluidas, los desarrolladores necesitan arquitecturas adaptables, el personal de seguridad demanda gobernanza y los ingenieros de sistemas buscan soluciones de monitoreo eficientes.
Las capacidades del AI Gateway incluyen autenticación y autorización a través de Amazon Cognito, acceso a APIs de baja latencia, gestión de autorizaciones, limitación de tasa y medición para manejar el tráfico de bots, así como acceso a diferentes modelos de IA. También ofrece soluciones para el registro y análisis del comportamiento de la aplicación y un monitoreo efectivo que permite al personal reaccionar rápidamente ante eventos.
La arquitectura se centra en crear canales de comunicación entre los usuarios y los modelos de LLM mediante espacios de nombres en AppSync Events, asegurando que solo los usuarios autorizados tengan acceso a sus correspondientes canales de entrada y salida, gracias a funciones Lambda que validan la autorización de los usuarios.
Además, la limitación de tasa y el control del uso de tokens son destacados como aspectos cruciales para las empresas que implementan soluciones de IA generativa. La integración con Amazon DynamoDB permite mantener contadores atómicos para rastrear el uso de tokens, garantizando que los usuarios no sobrepasen sus límites diarios o mensuales.
AWS también ha considerado la necesidad de análisis de datos, proporcionando una solución que permite a los desarrolladores extraer información valiosa de los registros generados por la aplicación. Esto se logra gracias a una arquitectura que incluye Amazon Firehose, S3 y Amazon Athena, facilitando la transformación de datos en tablas estructuradas y consultables.
Con la introducción de AppSync Events, AWS continúa promoviendo el avance de las soluciones de AI Gateway, que optimizan el acceso a los modelos de lenguaje a la vez que proporcionan una mayor transparencia y control a todos los involucrados. Esta iniciativa responde a las crecientes demandas de las empresas por implementar la inteligencia artificial de forma segura y efectiva.
