Los tokens se han convertido en una de las palabras más repetidas de la inteligencia artificial generativa, pero también en una de las peor entendidas. Aparecen en las tarifas de OpenAI, Claude o Gemini, en los límites de contexto, en las respuestas largas, en los modelos multimodales y hasta en el coste de procesar imágenes, PDFs o código. Sin embargo, mucha gente sigue comparando modelos por precio “por millón de tokens” como si todos contaran igual.
La idea de base es sencilla: un token es una unidad pequeña de información que el modelo usa para procesar una entrada y generar una salida. Puede ser una palabra completa, una parte de una palabra, un número, un signo de puntuación o un espacio. OpenAI resume la regla práctica diciendo que un token suele equivaler a unos 4 caracteres en inglés, que 100 tokens son aproximadamente 75 palabras y que 1.500 palabras rondan los 2.048 tokens. Google, para Gemini, da una regla similar: un token equivale aproximadamente a 4 caracteres y 100 tokens suelen representar entre 60 y 80 palabras en inglés.
El problema está en el “aproximadamente”. Cada proveedor usa su propio tokenizador, y distintos modelos pueden dividir el mismo texto de forma distinta. Por eso dos APIs con el mismo precio por millón de tokens no siempre cuestan lo mismo en producción. Si un modelo fragmenta más el español, el código, las tablas o los documentos largos, el coste real por tarea puede subir aunque la tarifa parezca más baja.
Qué cuenta como token y por qué importa
En una petición a un modelo de IA no solo cuentan las palabras que escribe el usuario. También cuentan las instrucciones del sistema, el historial de conversación, los documentos adjuntos, los datos de herramientas, el código, las tablas, las imágenes procesadas como entrada y la respuesta final generada por el modelo.
La división básica es input y output. El input es todo lo que se envía al modelo. El output es todo lo que el modelo responde. Muchos proveedores cobran ambos conceptos de forma distinta, y en modelos de razonamiento o agentes el output puede crecer mucho porque el sistema genera más pasos internos o respuestas extensas.
| Concepto | Qué incluye | Por qué afecta al coste |
|---|---|---|
| Input tokens | Prompt, instrucciones, contexto, historial, documentos, código, datos de herramientas e imágenes de entrada | Determinan cuánto material lee el modelo |
| Output tokens | Respuesta generada por la IA | Determinan cuánto produce el modelo |
| Context window | Suma de tokens que el modelo puede manejar en una petición o conversación | Marca cuánta información cabe antes de recortar o resumir |
| Tokens visuales | Representación interna de imágenes mediante parches, tiles o reglas propias del proveedor | Hacen que una imagen también tenga coste computacional |
| Tokens de documentos | Texto extraído, tablas, estructura, OCR, metadatos o imágenes incrustadas | Pueden disparar consumo en PDFs y hojas de cálculo |
Esta diferencia tiene efectos muy prácticos. Un asistente de soporte que recibe el historial completo de un cliente en cada petición puede ser caro. Un agente de código que lee muchos ficheros antes de tocar una línea puede agotar contexto. Una herramienta de análisis documental que procesa PDFs escaneados puede consumir más de lo previsto aunque el documento parezca pequeño.
Mismo texto, distinto número de tokens
La frase “mismo texto, mismos tokens” es falsa en la práctica. OpenAI, Anthropic y Google no tienen por qué partir igual una frase, una palabra con tilde, un identificador de código o una tabla. Los tokenizadores se entrenan y diseñan con vocabularios propios, y eso hace que un mismo contenido pueda ocupar más o menos tokens según el modelo.
El idioma también influye. Las reglas prácticas de OpenAI y Google se expresan sobre todo para inglés, y en español puede haber más fragmentación por tildes, palabras más largas, formas verbales, género y número, y construcciones que no siempre coinciden con los patrones más frecuentes del entrenamiento. No significa que el español funcione mal, pero sí que estimar costes con reglas pensadas para inglés puede quedarse corto.
| Tipo de contenido | Riesgo de consumo | Motivo habitual |
|---|---|---|
| Texto breve en inglés | Bajo | Suele encajar bien con reglas aproximadas de 4 caracteres por token |
| Texto largo en español | Medio | Puede requerir más tokens para expresar la misma idea |
| Código fuente | Medio-alto | Símbolos, rutas, nombres largos, indentación y comentarios fragmentan más |
| JSON, CSV y tablas | Alto | Estructura repetida, comillas, claves y separadores suman tokens |
| PDFs con tablas | Alto | Texto, columnas, OCR, formato e imágenes internas añaden complejidad |
| Capturas de pantalla | Variable | Se procesan como imagen y quizá también con OCR |
| Imágenes grandes | Variable-alto | El coste depende de resolución, detalle y regla visual del proveedor |
Por eso conviene probar con contenidos reales. Comparar precios sin contar tokens con ejemplos propios puede llevar a conclusiones equivocadas. Una startup que usa IA para analizar contratos, por ejemplo, no debería estimar costes con una frase de muestra; debería usar contratos reales, con anexos, tablas y lenguaje jurídico.
OpenAI, Claude y Gemini: tres formas de contar
Los tres grandes proveedores ofrecen formas de estimar o contar tokens, pero no lo hacen de manera idéntica. OpenAI dispone de herramientas y documentación para entender el conteo aproximado de tokens; Anthropic ofrece una API de recuento para mensajes de Claude, incluyendo herramientas, imágenes y documentos; y Google tiene funciones de countTokens para Gemini que permiten calcular tokens antes de enviar una petición.
| Proveedor | Regla práctica para texto | Herramienta de conteo | Particularidad importante |
|---|---|---|---|
| OpenAI | 1 token ≈ 4 caracteres en inglés; 100 tokens ≈ 75 palabras | Tokenizer oficial y librerías como tiktoken según modelo | El conteo exacto cambia por modelo y formato de mensaje |
| Anthropic Claude | Depende del modelo y del mensaje enviado | Token Count API para contar mensajes antes de enviarlos | Puede contar mensajes con herramientas, imágenes y documentos |
| Google Gemini | 1 token ≈ 4 caracteres; 100 tokens ≈ 60-80 palabras en inglés | countTokens en Gemini API | El conteo multimodal incluye texto, imágenes, audio y vídeo |
La recomendación práctica es sencilla: antes de llevar un flujo a producción, hay que usar el contador oficial del proveedor elegido. Una estimación genérica sirve para explicar el concepto, pero no para presupuestar una aplicación real con miles o millones de peticiones.
Las imágenes también son tokens
Los modelos multimodales no “ven” una imagen como una persona. La transforman en una representación interna. A veces la dividen en parches, a veces en tiles, y cada proveedor tiene su propia regla de coste.
Anthropic explica que Claude trabaja con parches de 28×28 píxeles, llamados tokens visuales, y que el coste de una imagen se calcula como ceil(ancho/28) × ceil(alto/28), con reglas de redimensionado cuando supera ciertos límites.
Google indica que en Gemini las imágenes de hasta 384 píxeles en ambas dimensiones cuentan como 258 tokens, mientras que imágenes mayores se dividen en tiles de 768×768 píxeles, con 258 tokens por tile.
OpenAI usa reglas que dependen del modelo, tamaño y nivel de detalle. En modelos como GPT-4o y parte de la familia o-series, una imagen con detail: low tiene un coste base fijo, mientras que en detail: high se escala y se cuenta por cuadrados de 512 píxeles, añadiendo un coste base.
| Imagen de ejemplo | Claude, regla 28×28 | Gemini, regla por tiles | OpenAI, regla tipo alta calidad en GPT-4o/o-series |
|---|---|---|---|
| 384×384 px | ceil(384/28)² = 14×14 = 196 tokens visuales | 258 tokens | Depende del modo y modelo |
| 1.000×1.000 px | 36×36 = 1.296 tokens visuales | Estimación por tiles: 2×2×258 = 1.032 tokens | Ejemplo típico high detail: 85 + 4×170 = 765 tokens |
| 2.000×1.000 px | 72×36 = 2.592 tokens visuales antes de posibles redimensionados | Estimación por tiles: 3×2×258 = 1.548 tokens | Depende del escalado y del número final de tiles |
La tabla sirve para entender órdenes de magnitud, no para facturar al céntimo. En producción conviene usar siempre el contador oficial o la respuesta de uso devuelta por la API. Las reglas pueden cambiar por modelo, modo de detalle, resolución, redimensionado automático y formato de entrada.
PDFs, código y agentes: donde se dispara el consumo
Los tokens se vuelven especialmente relevantes cuando una aplicación deja de ser un chat simple y pasa a funcionar como un agente. Un agente de código puede leer varios ficheros, analizar errores, ejecutar pruebas, interpretar logs y generar cambios. Un agente documental puede revisar decenas de PDFs, extraer tablas y resumir anexos. Un asistente financiero puede cruzar facturas, correos, contratos y hojas de cálculo.
En esos casos el coste no depende de una única pregunta. Depende del flujo completo.
| Caso de uso | Qué consume tokens | Riesgo de sobrecoste | Cómo reducirlo |
|---|---|---|---|
| Chatbot de soporte | Historial, base de conocimiento, pregunta y respuesta | Enviar demasiado historial en cada turno | Resumir contexto y recuperar solo documentos relevantes |
| Agente de código | Ficheros, trazas, diffs, comandos, tests y respuestas | Leer repositorios completos sin necesidad | Indexar, seleccionar archivos y usar contexto incremental |
| Análisis de PDFs | OCR, texto, tablas, imágenes y metadatos | Procesar todo el documento aunque solo importe una sección | Trocear, filtrar páginas y extraer texto antes |
| Asistente multimodal | Imágenes, capturas, texto y salida | Enviar imágenes grandes o repetidas | Recortar, bajar resolución y usar detalle bajo cuando baste |
| Automatización empresarial | Datos de herramientas, instrucciones, historial y outputs | Encadenar llamadas sin control de presupuesto | Medir por tarea, usar caché y limitar respuestas |
La clave está en diseñar la aplicación con una idea clara: cada dato que entra al modelo compite por coste y contexto. Enviar más información no siempre mejora el resultado. A veces lo empeora, porque introduce ruido y aumenta la probabilidad de que el modelo se distraiga con partes irrelevantes.
Cómo comparar proveedores sin engañarse
Para elegir entre modelos no basta con mirar precio por millón de tokens. Hay que medir coste por tarea real. Eso implica probar el mismo flujo con el mismo contenido, contar tokens de entrada y salida, medir calidad, latencia, tasa de errores y número de reintentos.
| Métrica | Por qué importa | Pregunta práctica |
|---|---|---|
| Tokens de entrada por tarea | Mide cuánto contexto necesita el modelo | ¿Tengo que enviar mucho contexto para obtener buena respuesta? |
| Tokens de salida por tarea | Mide cuánto produce el modelo | ¿Responde con precisión o genera demasiado texto? |
| Reintentos | Aumentan coste y latencia | ¿Cuántas veces hay que corregir o repetir? |
| Latencia | Afecta a experiencia de usuario y automatización | ¿El modelo sirve para uso interactivo o solo batch? |
| Calidad verificable | Determina valor real | ¿La respuesta pasa pruebas, revisión o validación humana? |
| Coste por resultado válido | Métrica final | ¿Cuánto cuesta una respuesta que realmente puedo usar? |
Un modelo barato por token puede salir caro si necesita más contexto, más reintentos o respuestas más largas. Uno caro puede compensar si resuelve antes, usa menos vueltas y comete menos errores. La unidad de comparación correcta no es el token aislado, sino la tarea completada con calidad suficiente.
Preguntas frecuentes
¿Un token es lo mismo que una palabra?
No. Puede ser una palabra, parte de una palabra, un número, un símbolo o un espacio. La equivalencia depende del tokenizador de cada modelo.
¿Por qué un texto en español puede gastar más tokens que en inglés?
Porque muchas reglas prácticas se basan en inglés y los tokenizadores pueden fragmentar más palabras con tildes, formas largas o estructuras menos frecuentes.
¿Input y output se cobran igual?
No siempre. Muchos proveedores tienen precios distintos para entrada y salida, y la salida suele ser más cara en bastantes modelos.
¿Las imágenes consumen tokens?
Sí. Los modelos multimodales transforman imágenes en tokens visuales, parches o tiles. El coste depende del proveedor, modelo, resolución y modo de detalle.
¿Cómo se estima bien el coste de una app con IA?
Con ejemplos reales, usando el contador oficial del proveedor, midiendo tokens de entrada y salida, reintentos, latencia y coste por tarea válida.
