Amazon ha dado un paso significativo en la transformación de las compras en línea con el lanzamiento de Rufus, un asistente de compras conversacional potenciado por inteligencia artificial generativa. Esta innovadora herramienta está diseñada para proporcionar respuestas informativas y precisas, utilizando información detallada de Amazon y de la web, lo que permite a los consumidores tomar decisiones de compra mucho más fundamentadas.
Para garantizar que Rufus pueda manejar la inmensa base de clientes de Amazon, se ha creado una infraestructura capaz de soportar modelos de lenguaje de gran escala con latencia mínima a nivel mundial. Para ello, Amazon ha implementado los servicios de AWS junto con los chips de inteligencia artificial Trainium e Inferentia. Estos componentes están específicamente diseñados para optimizar las cargas de trabajo de aprendizaje profundo, lo que no solo mejora el rendimiento, sino que también reduce los costos operativos frente a otras soluciones disponibles en el mercado.
Rufus está preparado para abordar situaciones como el Prime Day, un evento que genera picos significativos en la demanda. Gracias a un innovador sistema de inferencia heterogéneo que opera en diversas Regiones de AWS, Rufus puede no solo escalar su capacidad bajo demanda, sino también mejorar la resiliencia del sistema. Esto asegura un desempeño óptimo incluso durante los momentos de mayor tráfico.
El funcionamiento de este asistente se basa en un sistema de Generación Aumentada por Recuperación, que busca información adicional para mejorar la calidad de las respuestas. Esto incluye detalles de productos relevantes basados en la consulta específica de cada cliente. Los chips especializados, como Inferentia y Trainium, permiten a Rufus una operación con un 54% más de eficiencia energética comparado con otras tecnologías, apoyando los objetivos ambientales de Amazon.
Durante momentos de alta demanda, Rufus tiene la capacidad de escalar para utilizar más de 80,000 chips, manteniendo un tiempo de respuesta inferior a un segundo para el primer token. Esto es posible gracias a su arquitectura de streaming de inferencia, que devuelve tokens a los usuarios tan pronto como se generan, optimizando enormemente la experiencia del usuario.
Rufus seguirá evolucionando con los desarrollos en inteligencia artificial generativa y el feedback continuo de los clientes, marcando un importante avance en la experiencia de compra en línea. Este desarrollo subraya el compromiso de Amazon con la tecnología de vanguardia y su enfoque en mejorar constantemente el servicio y la satisfacción del cliente.
