En un mundo donde la adopción de la inteligencia artificial (IA) y el aprendizaje automático (ML) son cada vez más apremiantes para las organizaciones, la optimización de costos y rendimiento de los modelos de IA se ha convertido en un desafío crucial. Un cliente, dedicado a ofrecer soluciones de inteligencia de video basadas en modelos YOLOv8, se enfrentó a este reto y decidió colaborar con Automat-it, un socio Premier de AWS, para implementar su plataforma en la nube de AWS utilizando Elastic Kubernetes Service (EKS).
El objetivo central de esta asociación era alcanzar un equilibrio óptimo entre escalabilidad y rendimiento, al mismo tiempo que se disminuían los costos. Originalmente, cada modelo operaba en una instancia de GPU dedicada, lo cual derivaba en un uso ineficiente de los recursos y altos costos operativos. La meta establecida fue mantener los costos de infraestructura en AWS a 30 dólares por cámara al mes, sin que el tiempo total de procesamiento superara los 500 milisegundos.
Inicialmente, se probó con una arquitectura cliente-servidor que permitía separar las etapas de procesamiento. Sin embargo, los costos permanecían elevados, alcanzando los 353,03 dólares mensuales por cámara. Aunque el rendimiento era satisfactorio, se requería una mayor optimización para cumplir con los objetivos económicos.
Automat-it implementó una solución innovadora al transitar de la arquitectura cliente-servidor a un sistema de «time slicing» de GPU, permitiendo que múltiples modelos de IA compartieran una única GPU. Esta estrategia, facilitada por el plugin de NVIDIA para Kubernetes, incrementó la eficiencia de los recursos y simplificó el proceso de escalabilidad, reduciendo además la carga operativa.
Después de múltiples pruebas y ajustes en la configuración, se logró una significativa reducción en los costos. El costo por cámara se redujo a 27,81 dólares mensuales, significando una disminución de más de doce veces respecto del enfoque inicial, todo ello manteniendo el rendimiento de los modelos dentro de los estándares aceptables.
Este caso ejemplifica cómo la optimización de recursos en entornos de inteligencia artificial permite a las empresas no solo reducir costos, sino también mantener el nivel de servicio necesario para satisfacer las exigencias de sus clientes. La combinación de estrategias modernas y tecnologías en la nube ha demostrado ser un camino eficaz para mejorar la eficiencia operativa en el uso de modelos de IA.
