Un gran modelo de lenguaje (LLM, del inglés Large Language Model) es una red neuronal entrenada sobre cantidades masivas de texto para aprender cómo funciona el lenguaje: qué palabras van juntas, cómo se construyen los argumentos y cómo se razona en texto. GPT-4, Llama 3, Mistral, Gemini y Claude son LLMs. ChatGPT los popularizó a finales de 2022, pero el concepto viene de décadas de investigación en procesamiento del lenguaje natural.
Los parámetros son el factor que mejor define la capacidad de un LLM: son los valores ajustables que el modelo aprende durante el entrenamiento. GPT-4 tiene un número que OpenAI no ha revelado, aunque estimaciones de la comunidad apuntan a más de un billón. Llama 3 de Meta va de 8.000 a 70.000 millones según la versión. El tamaño importa, pero el origen y la calidad del texto de entrenamiento también.
Cómo funciona un LLM
La arquitectura más usada es el transformer, presentada en el artículo «Attention is All You Need» de Google en 2017. A diferencia de los modelos anteriores, que procesaban el texto de izquierda a derecha, el transformer puede atender a cualquier parte del texto a la vez mediante mecanismos de atención, lo que le permite capturar dependencias lejanas sin perder el contexto.
El entrenamiento tiene dos fases. Primero el preentrenamiento: el modelo aprende a predecir la siguiente palabra dado un texto, procesando cientos de miles de millones de páginas web, libros y código. Después el ajuste fino (fine-tuning) adapta ese conocimiento general a tareas concretas. Los modelos de instrucción como ChatGPT añaden además una fase de aprendizaje por refuerzo con retroalimentación humana (RLHF, reinforcement learning from human feedback) para que sigan instrucciones de forma fiable.
Para qué se usan los LLMs
Los casos de uso van mucho más allá de los chatbots de consumo:
- Generación y resumen de texto: el modelo produce borradores, resúmenes y versiones simplificadas de documentos largos.
- Traducción automática: los LLMs generan traducciones más fluidas y contextuales que los sistemas basados en reglas anteriores.
- Análisis de sentimientos: evalúa la polaridad emocional de reseñas, comentarios y tickets de soporte para priorizar respuestas y detectar problemas.
- Generación de código: modelos como GitHub Copilot (basado en Codex) o StarCoder generan, completan y depuran código en decenas de lenguajes de programación.
Para tareas de recuperación de información, muchos sistemas combinan LLMs con bases de datos vectoriales en lo que se conoce como RAG (retrieval-augmented generation, o generación aumentada por recuperación): el modelo no inventa datos sino que los busca en una fuente fiable antes de responder. Los retos de integrar modelos de IA en aplicaciones reales van mucho más allá de elegir el modelo adecuado.
Limitaciones y problemas conocidos
- Alucinaciones: el modelo genera texto plausible pero incorrecto. No distingue entre lo que sabe y lo que inventa.
- Sesgo: aprenden los sesgos presentes en los datos de entrenamiento, lo que puede reproducir estereotipos en la salida.
- Coste de entrenamiento: entrenar un LLM a escala requiere cientos o miles de GPUs durante semanas. Solo un pequeño número de organizaciones tiene recursos para hacerlo.
- Interpretabilidad: saber por qué un modelo da una respuesta concreta sigue siendo difícil. Los miles de millones de parámetros no se traducen en reglas legibles.
- Ventana de contexto: aunque los modelos recientes pueden manejar cientos de miles de tokens, hay límites en cuánto texto pueden procesar de una vez sin perder coherencia.
LLMs de código abierto
Desde 2023 el mercado de modelos abiertos ha crecido con rapidez. Meta publicó Llama 2 y después Llama 3 con pesos descargables, lo que permitió a universidades, startups y equipos individuales ajustar modelos sobre sus propios datos sin depender de una API externa. Mistral AI publicó sus modelos con licencias permisivas. Plataformas como Hugging Face centralizan miles de modelos y herramientas de ajuste fino. La IA local ya no es una rareza: modelos abiertos bien ajustados compiten en muchas tareas con las APIs comerciales.
El coste de ajuste fino ha bajado gracias a técnicas como LoRA (low-rank adaptation), que reduce los parámetros a entrenar sin perder capacidad. Los datos de entrenamiento abiertos como LAION-5B han resultado decisivos para extender la investigación en IA a equipos con presupuestos ajustados. Si buscas un glosario completo de términos del sector, el glosario de inteligencia artificial y LLMs es el mejor punto de partida.
Preguntas frecuentes
¿Qué es un LLM?
Un LLM (Large Language Model, o gran modelo de lenguaje) es una red neuronal entrenada sobre grandes volúmenes de texto para aprender patrones del lenguaje natural. Se usa para generar texto, traducir, resumir, responder preguntas y generar código.
¿Cuántos parámetros tiene GPT-4?
OpenAI no ha publicado el número oficial. Estimaciones de la comunidad sitúan el modelo en más de un billón de parámetros, aunque la arquitectura usa mezcla de expertos (MoE), lo que significa que no todos se activan para cada inferencia.
¿Qué diferencia hay entre un LLM y ChatGPT?
ChatGPT es un producto construido sobre un LLM (GPT-4 o GPT-3.5 Turbo). El LLM es el modelo subyacente; ChatGPT es la capa de producto con ajuste fino para seguir instrucciones y mantener conversaciones.
¿Qué es el RAG?
RAG (retrieval-augmented generation, o generación aumentada por recuperación) combina un LLM con una búsqueda en una base de datos externa. En vez de confiar solo en lo aprendido durante el entrenamiento, recupera información actualizada antes de generar la respuesta, lo que reduce alucinaciones en dominios concretos.
¿Son los LLMs de código abierto tan buenos como los privados?
Depende del benchmark. En tareas de código y razonamiento los modelos privados de OpenAI y Anthropic siguen por delante, pero la brecha se ha reducido bastante desde 2023. Llama 3 70B compite directamente con GPT-3.5 en muchas tareas.
