La inferencia es el proceso por el que un modelo de IA ya entrenado procesa datos nuevos para hacer predicciones o tomar decisiones. El entrenamiento es cuando el modelo aprende, ajustando parámetros con grandes volúmenes de datos; la inferencia es cuando ese modelo se usa de verdad: cuando ChatGPT responde una pregunta, cuando un sistema de conducción autónoma detecta un obstáculo, o cuando un filtro de spam clasifica un correo.
El rendimiento en producción depende tanto del modelo como de cómo se ejecuta esa inferencia en hardware real: latencia, coste y consumo energético son los números que importan. La guía sobre cómo funcionan los LLM cubre la fase de preentrenamiento; este artículo trata lo que ocurre después.
Qué ocurre durante la inferencia
Cuando un modelo recibe un input (un texto, una imagen, un audio), lo convierte en vectores numéricos, pasa por las capas del modelo y produce un output: una respuesta, una clasificación, una predicción. En los modelos de lenguaje basados en transformers el proceso genera un token cada vez, evaluando probabilidades sobre todo el vocabulario en cada paso, por lo que el número de tokens influye directamente en el coste y la latencia.
La inferencia cuesta menos que el entrenamiento en cada ejecución individual, pero ocurre millones de veces al día en un servicio a escala. Una petición a la API de GPT-4o implica decenas de pasos de forward pass sobre un modelo de cientos de miles de millones de parámetros. El coste total en producción acaba superando al del entrenamiento, que se realiza una sola vez.
Los tres parámetros que miden la inferencia
- Latencia: tiempo que tarda el modelo en responder desde que recibe el input. En aplicaciones de tiempo real (conducción autónoma, detección de fraude) es el factor más importante. Se mide en milisegundos para el primer token (time-to-first-token, TTFT) o para la respuesta completa.
- Throughput: número de peticiones o tokens que el sistema procesa por segundo. Relevante para servicios con muchos usuarios simultáneos, donde la latencia por petición puede ser aceptable pero el volumen no puede saturar la infraestructura.
- Coste por token: el indicador económico principal. Los proveedores de API como OpenAI o Anthropic facturan en millones de tokens, y para aplicaciones con muchos usuarios reducir este coste es lo que separa un modelo de negocio viable de uno que no lo es. OpenAI y Anthropic parecen encaminarse hacia una guerra de precios que puede bajar ese umbral de forma importante.
Técnicas para acelerar la inferencia
Varias técnicas ya en producción permiten recortar coste y latencia sin cambiar el modelo base:
- Cuantización: reduce la precisión de los parámetros (de float32 a int8 o int4). Acelera la inferencia y reduce el consumo de memoria con una pérdida de precisión mínima en muchos modelos.
- Destilación: un modelo pequeño (alumno) aprende a imitar el comportamiento de uno grande (profesor). El resultado ocupa menos y corre más rápido, con alguna pérdida de capacidad.
- Speculative decoding: un modelo pequeño genera un borrador de respuesta que el modelo grande verifica en paralelo. Reduce la latencia sin cambiar los parámetros del modelo principal.
La mejora no llega solo del hardware. EAGLE 3.1 muestra que mejorar el software de inferencia puede multiplicar la velocidad de respuesta sin tocar las GPU, lo que reduce costes sin necesidad de nuevo hardware.
El coste de la inferencia en 2025 y 2026
El coste de la inferencia ha dejado de ser un detalle técnico para convertirse en una preocupación real de negocio. Las empresas que integraron LLM en sus flujos de trabajo han comprobado que el consumo de tokens se dispara con el uso intensivo, un fenómeno que en el sector ya tiene nombre: «Tokenmaxxing», el hábito de usar más IA de la necesaria porque el coste no es visible en tiempo real. Controlar qué modelo se usa para cada tarea y afinar los prompts ya forma parte del trabajo técnico en los equipos que despliegan IA en producción.
Inferencia local vs. inferencia en la nube
Ejecutar inferencia tiene dos caminos: usar la API de un proveedor (OpenAI, Anthropic, Google) o desplegar el modelo en infraestructura propia. La API es más simple de arrancar, pero tiene coste variable y dependencia de terceros para datos potencialmente sensibles. La inferencia local requiere hardware (GPU, NPU o aceleradores especializados) y experiencia técnica, pero da control total sobre latencia, coste y privacidad.
Para las empresas que evalúan qué infraestructura elegir, Revistacloud analiza propuestas como FlexPod de NetApp y Cisco, diseñada para cargas de trabajo de IA en entornos empresariales.
Para quien quiere llevar la inferencia local sin gestionar toda la infraestructura desde cero, Odysseus permite ejecutar modelos avanzados en hardware propio. La demanda de especialistas en este área sigue alta, con planes de formación específica de 500 horas para cubrir ese hueco.
Preguntas frecuentes
¿Qué diferencia hay entre entrenamiento e inferencia en IA?
El entrenamiento ajusta los parámetros del modelo con grandes volúmenes de datos. La inferencia usa esos parámetros ya fijados para procesar datos nuevos. El entrenamiento se hace una vez (o pocas veces); la inferencia ocurre en cada petición del usuario.
¿Qué hardware se usa para inferencia?
Las GPU de NVIDIA (A100, H100, H200) son las más usadas en centros de datos. Para edge computing hay NPU específicas, como las de Apple Silicon o Qualcomm. Para modelos pequeños también es posible ejecutar inferencia en CPU de gama alta.
¿Qué es la cuantización en inferencia?
La cuantización reduce la precisión numérica de los parámetros del modelo (de 32 bits a 8 o 4 bits). Reduce el uso de memoria y acelera la inferencia, con una pérdida de calidad que depende del modelo y el nivel de cuantización aplicado.
¿Qué es la latencia de inferencia?
La latencia de inferencia es el tiempo que transcurre desde que el modelo recibe el input hasta que devuelve el output. En modelos de lenguaje se mide en tiempo hasta el primer token (TTFT) y en tiempo total de la respuesta. Es un factor clave en chatbots, detección de intrusiones o sistemas de recomendación.
