Un informe reciente de McKinsey & Company destaca el inmenso potencial económico de la inteligencia artificial generativa, estimando que podría añadir entre 2.6 y 4.4 billones de dólares a la economía global. Este potencial ha incentivado a numerosas empresas a crear aplicaciones de inteligencia artificial generativa empleando Amazon Web Services (AWS). No obstante, el manejo de los costos y su optimización se ha convertido en una preocupación primordial para líderes de gestión de productos y arquitectura empresarial.
Con un enfoque en estas preocupaciones, el informe asume que los lectores ya poseen un conocimiento básico sobre los fundamentos de modelos de lenguaje grandes, tokens y bases de datos vectoriales dentro de AWS. En este contexto, se destaca el uso del marco de Generación Aumentada por Recuperación (RAG), que permite a los modelos de lenguaje responder de manera precisa a preguntas basadas en datos inéditos.
La optimización de costos y rendimiento en el uso de aplicaciones de IA generativa implica varios pilares, como la selección del modelo adecuado, junto con su validación utilizando conjuntos de datos de alta calidad. Posteriormente, la elección del modelo se hace considerando las características de costos y rendimiento. La personalización del modelo es otro paso crucial, donde se ajustan modelos preexistentes con datos específicos para mejorar su eficiencia.
El análisis del uso de tokens es esencial, ya que el coste operativo de un modelo depende directamente del número de tokens procesados. Implementar limitaciones sobre el número de tokens procesados y estrategias de almacenamiento en caché son métodos efectivos para la reducción de costos. Además, AWS ofrece diferentes planes de precios de inferencia, tales como el pago por uso y el rendimiento provisionado, cada uno con sus respectivas implicaciones de costo y rendimiento.
Otros factores a considerar son las medidas de seguridad, incluyendo filtros de contenido y los costos relacionados con bases de datos vectoriales. Estos aspectos, junto con estrategias de fragmentación de datos, pueden influir tanto en la precisión del modelo como en los costos totales. Ejemplos de costos anuales para aplicaciones de asistentes virtuales indican una amplia variedad, con cifras que van desde 12,577 a 134,252 dólares, dependiendo de la escala del proyecto.
Finalmente, el uso de servicios como Amazon Bedrock para acceder a modelos de alto rendimiento, junto con “guardrails” que mejoran la seguridad y control del contenido, es crucial en un entorno donde los asistentes virtuales interactúan en múltiples temas.
Es fundamental que las organizaciones se mantengan informadas sobre la dinámica de costos en herramientas de IA generativa y estrategias de optimización para maximizar beneficios. En futuras publicaciones, se explorarán aspectos relacionados con la estimación y los factores que influyen en el valor comercial de estas tecnologías.
