Operar un servidor de seguimiento de MLflow autogestionado siempre ha implicado una carga administrativa significativa, que incluye no solo el mantenimiento del servidor, sino también la gestión eficiente de recursos, especialmente durante los picos de uso y los periodos de inactividad. Este desafío se intensifica a medida que los equipos amplían sus experimentos de aprendizaje automático (ML). Sin embargo, las organizaciones que ejecutan MLflow en Amazon EC2 o en servidores locales ahora cuentan con una solución que optimiza tanto los costos como los recursos de ingeniería: la migración a Amazon SageMaker AI con MLflow sin servidor.
Con la reciente publicación de una guía detallada, se ofrece un camino claro para migrar un servidor autogestionado de MLflow a una aplicación sin servidor en SageMaker AI. Esta transición permite un ajuste automático de los recursos según la demanda, eliminando las tareas de gestión de servidores y almacenamiento sin costes adicionales. La guía proporciona instrucciones precisas sobre cómo utilizar la herramienta MLflow Export Import para trasladar experimentos, ejecuciones y modelos, además de otras indicaciones para asegurarse del éxito de la migración.
Aunque la guía se centra principalmente en la migración de servidores de MLflow autogestionados a la solución sin servidor de SageMaker con MLflow, la herramienta exportadora ofrece una versatilidad adicional. Puede utilizarse no solo para migrar servidores administrados dentro de SageMaker hacia la nueva capacidad sin servidor, sino también para facilitar actualizaciones de versiones y establecer rutinas de respaldo en caso de desastres.
El proceso de migración se estructura en tres fases cruciales: la exportación de artefactos MLflow a un almacenamiento intermedio, la configuración de una aplicación MLflow, y la importación de artefactos. Este proceso puede ejecutarse desde una instancia de EC2, un ordenador personal o un cuaderno de SageMaker, siempre y cuando el entorno mantenga conectividad entre el servidor de origen y el destino.
Antes de comenzar la migración, es esencial verificar la compatibilidad de la versión de MLflow, asegurando que tanto el servidor original como el nuevo entorno en SageMaker utilicen versiones soportadas, preferentemente la más reciente en SageMaker para simplificar el proceso.
Con la nueva aplicación MLflow en SageMaker ya configurada, el siguiente paso es instalar MLflow y el plugin de SageMaker en el entorno de ejecución, garantizando así la correcta conexión con la nueva aplicación. La instalación de la herramienta MLflow Export Import es fundamental para proceder con la exportación y posterior importación de los recursos necesarios.
Finalmente, es crucial validar que todos los recursos de MLflow hayan sido transferidos correctamente. Esto incluye la verificación de experimentos y ejecuciones, así como la accesibilidad de los artefactos de modelo. En proyectos de migración a gran escala, se recomienda dividir el proceso en lotes más pequeños para una gestión más efectiva.
Cabe resaltar que un servidor de seguimiento administrado por SageMaker generará costos mientras esté operativo. Por tanto, para evitar gastos innecesarios, se aconseja detener o eliminar los servidores de seguimiento cuando no estén en uso.
Al migrar a una aplicación MLflow sin servidor en Amazon SageMaker AI, las organizaciones pueden reducir significativamente la sobrecarga operativa asociada con el mantenimiento de la infraestructura de MLflow. Además, se facilita una integración fluida con los servicios de AI/ML que ofrece SageMaker. Aquellos interesados en efectuar su propia migración pueden seguir la guía paso a paso y consultar la documentación adicional para obtener más detalles.
