En la actualidad, la creciente demanda de soluciones de inteligencia artificial (IA) y aprendizaje automático (ML) ha generado una necesidad crítica en el ámbito empresarial: mejorar los procesos de formación, despliegue y escalado de estos modelos. Aunque el avance en IA, particularmente en el campo de la inteligencia generativa, progresa rápidamente, las herramientas para operaciones de aprendizaje automático (MLOps) se adaptan constantemente para mantenerse actualizadas. Las empresas buscan casos de éxito que demuestren cómo adoptar eficazmente una cultura y soluciones operativas novedosas que apoyen a sus científicos de datos. Estas soluciones deben ser flexibles, permitir una integración fluida con otros sistemas y ofrecer un camino para automatizar las MLOps utilizando servicios de AWS y herramientas de terceros, como se analizará a continuación a través del uso de Pulumi y Datadog.
Crexi, un mercado digital especializado en transacciones de bienes raíces comerciales, ha cumplido con estas necesidades empresariales exitosamente. Mediante el desarrollo de un marco versátil y potente para la creación y despliegue de tuberías de IA/ML, Crexi ha logrado que sus modelos de ML se gestionen y desplieguen de forma eficiente, satisfaciendo diversos requisitos de proyectos.
Datadog, un servicio de monitorización para aplicaciones en la nube a gran escala, y Pulumi, una plataforma moderna de infraestructura como código (IaC), tienen un papel crucial en este proceso. Datadog facilita la cooperación entre los equipos de desarrollo y operaciones para evitar interrupciones y resolver problemas de rendimiento, mientras que Pulumi permite manejar los recursos de la nube usando lenguajes de programación populares y simplifica la provisión, entrega y pruebas en la nube.
La infraestructura de Crexi se basa en disparadores de AWS Lambda que llaman de manera asíncrona a los endpoints de Amazon SageMaker para ejecutar la lógica de inferencia de cualquier modelo. Los resultados finales de estos procesos se almacenan en Amazon S3 y Amazon Data Firehose para asegurar una integración sin contratiempos con otros sistemas.
Para asegurar un despliegue rápido y eficaz de sus modelos de ML, Crexi ha establecido una infraestructura de integración y despliegue continuo (CI/CD), gestionada mediante Pulumi. Esta infraestructura no solo facilita el retroceso de pipelines si se detectan errores, sino que también se encarga del monitoreo de la salud de las tuberías, garantizando la identificación proactiva de problemas.
La implementación en Crexi se realiza a través de acciones de GitHub que ejecutan scripts de Pulumi en un formato de CI/CD, para desplegar, actualizar y destruir las pipeline de ML, asegurando una infraestructura reproducible y libre de regresiones de código.
Por otro lado, la monitorización de estas pipelines, realizada a través de un avanzado tablero de Datadog, permite una evaluación en tiempo real y un análisis histórico sencillo del estado de salud de las tuberías, simplificando la detección y solución rápida de cuellos de botella y posibles errores.
Este marco de despliegue de pipelines no solo se ajusta a las necesidades de IA/ML de Crexi, sino que también establece las bases para una innovación continua, permitiendo que las operaciones actuales mejoren y se alineen con la experimentación y desarrollo de nuevas técnicas.
En conclusión, Crexi se ha posicionado a la vanguardia en el uso de MLOps, manejando eficientemente la complejidad de los despliegues y asegurando un ciclo continuo de mejora y experimentación que impulsará sus proyectos en el futuro.
