Nico Finelli, cofundador de Vellum, ha ofrecido importantes observaciones sobre el estado actual de la inteligencia artificial (IA) en los procesos productivos, enfocándose en cómo construir agentes de IA que realmente aporten valor. Con experiencia en machine learning y modelos de lenguaje, Finelli ha asesorado a empresas de Fortune 500 y ahora se dedica a guiar a otras organizaciones en la transición de la experimentación a la implementación efectiva de estas tecnologías.
En una encuesta reciente, realizada entre más de 1,200 desarrolladores de IA, se destacó que solo el 25% está utilizando sus iniciativas de IA en producción. A pesar del bombo mediático en torno a la IA generativa, muchas organizaciones enfrentan grandes retos en la etapa de prueba. Uno de los principales obstáculos es el fenómeno de las «alucinaciones» en los modelos de IA, un problema que el 57% de los encuestados identifica como su mayor desafío.
La evaluación se perfila como un aspecto crucial para asegurar el éxito o fracaso de un sistema de IA. Finelli menciona que muchos equipos que experimentan alucinaciones tienden a depender de pruebas manuales y feedback de usuarios como sus principales métodos de evaluación, revelando una falta de procesos robustos para una implementación adecuada. La escasez de sistemas de pruebas automatizadas complica la resolución de estos problemas, especialmente porque las aplicaciones de IA suelen ser muy específicas.
Las empresas que efectivamente llevan su IA a producción suelen mantener un enfoque disciplinado y bien definido desde el inicio. En lugar de seguir modas, priorizan casos de uso claros e involucran feedback constante entre desarrolladores y expertos, lo cual les permite iterar con rapidez. Según Finelli, el 65-70% de los clientes de Vellum tiene IA en producción, atribuido principalmente a su habilidad para ajustar rápidamente y evaluar continuamente sus sistemas.
En definitiva, el éxito en la implementación de agentes de IA no solo depende de la tecnología, sino también de la estructura y enfoque adoptados durante el desarrollo. La evaluación efectiva es la clave para convertir la IA de un simple concepto en una herramienta útil y duradera en el ámbito empresarial.
