Gobernanza y alucinaciones, los mayores frenos de los LLM en la empresa según 300 expertos

Expert.ai publicó en junio de 2023 el informe Large Language Models: Opportunity, Risk and Paths Forward, basado en una encuesta realizada en abril a más de 300 expertos en IA. El objetivo era mapear cómo las organizaciones están usando los grandes modelos de lenguaje (LLMs), qué les preocupa y hacia dónde apuntan sus inversiones. Los datos muestran un mercado que adopta los LLMs con rapidez pero que choca con barreras técnicas y organizativas bien identificadas.

Los cuatro tipos de uso más frecuentes

El informe agrupa los casos de uso en cuatro categorías. La primera, interacción entre personas y máquinas, abarca los usos más visibles: chatbots (54,4% de los encuestados los mencionan), sistemas de preguntas y respuesta (52,6%) y atención al cliente (22,5%). La segunda, generación de lenguaje, incluye el resumen de contenidos existentes (51,1%) y la generación de contenido nuevo (44,6%).

La tercera categoría, extracción de información, engloba la minería de conocimiento (48,6%), la creación de metadatos (38,1%), la categorización de contenido (27,2%) y la extracción de entidades (20,1%). La cuarta es búsqueda: general (39%), semántica (30,7%) y recomendaciones (28,8%).

Casos de uso de LLMs en empresas

Cuatro problemas que frenan la adopción

La seguridad y la gobernanza es el mayor freno: el 73,1% de los expertos lo citan como desafío principal. Los LLMs necesitan grandes volúmenes de datos para entrenarse, a veces con información confidencial, y las organizaciones no siempre tienen los controles necesarios para gestionar esos datos con las garantías que exige el RGPD y otras normativas.

La falta de precisión y calidad aparece en segundo lugar, con un 51,2%. El ejemplo más conocido son las alucinaciones: el modelo genera texto sin base en hechos reales, inventando datos, citas o hechos. El problema no es menor, especialmente en sectores donde la exactitud es requisito legal o médico. Esta misma preocupación mueve a empresas como Mistral AI a apostar por modelos transparentes y auditables, donde el acceso al código base permite detectar y corregir sesgos.

La escasez de profesionales cualificados afecta al 40,7% de los encuestados. Como alternativa, el 51,2% considera contratar expertos externos para el ajuste fino del modelo, y el 31,7% para la selección del modelo base. El cuarto freno son las necesidades computacionales (37,7%): los LLMs son caros de ejecutar a escala, tanto en infraestructura propia como en consumo de API comercial. El coste real de la IA abierta frente a las APIs de pago es un debate que sigue activo en el sector.

Desafíos de los LLM en las empresas

Modelos específicos por dominio: la próxima fase

El 37,1% de las empresas encuestadas ya estudia crear modelos de lenguaje propios adaptados a su actividad. El 78,5% considera que entrenar de forma adecuada un modelo específico de dominio es importante para obtener resultados utilizables. En cuanto a la inversión: el 17,4% ya tenía presupuesto asignado en 2023, el 17,7% planeaba asignarlo ese mismo año y el 39,5% lo contemplaba para el ejercicio siguiente.

Preguntas frecuentes sobre el informe de LLMs de expert.ai

¿En qué consiste el informe de expert.ai sobre LLMs?
Es una encuesta a más de 300 expertos en IA realizada en abril de 2023, que identifica los casos de uso más extendidos, los principales riesgos y las intenciones de inversión de las organizaciones en modelos de lenguaje grandes.

¿Cuál es el principal riesgo de los LLM en la empresa según el informe?
La seguridad y la gobernanza, citada por el 73,1% de los expertos. Le siguen la falta de precisión y las alucinaciones (51,2%) y la escasez de talento cualificado (40,7%).

¿Qué son las alucinaciones en los LLMs?
El proceso por el que el modelo genera texto sin base factual, inventando datos, citas o hechos que no existen. Es uno de los problemas técnicos más conocidos de los modelos de lenguaje actuales.

¿Cuántas empresas están considerando crear sus propios LLMs?
El 37,1% de las organizaciones encuestadas ya lo estudia. El 78,5% considera importante el ajuste fino de modelos para obtener resultados precisos y utilizables en su sector.

Fuente: Expert.ai (expert.ai)

Scroll al inicio