Entrenar desde cero un modelo de lenguaje de 24.000 millones de parámetros es técnicamente posible para un equipo independiente, pero las cuentas explican por qué casi nadie debería hacerlo. Una investigación de Nesilabs estima que un preentrenamiento competitivo con 5 billones de tokens necesitaría alrededor de 500.000 horas de GPU H100 y unos 750.000 dólares solo en cómputo. Llevar el entrenamiento hasta 24 billones de tokens elevaría la factura teórica a 3,6 millones. Especializar un modelo abierto ya entrenado mediante QLoRA puede reducir el gasto a unos pocos cientos de euros.
Las claves de entrenar un LLM de 24B en 30 segundos
- Un modelo denso de 24B entrenado con 2 billones de tokens rondaría las 200.000 horas de H100 y 300.000 dólares.
- Con 5 billones, el cálculo sube hasta unas 500.000 horas y 750.000 dólares.
- Un escenario de 24 billones alcanzaría aproximadamente 3,6 millones de dólares, antes de errores, pruebas y personal.
- El verdadero problema no es solo la GPU: preparar varios billones de tokens exige una enorme operación de datos.
- Tosilos-24B demuestra la alternativa: partir de Devstral 24B y especializarlo mediante QLoRA con un presupuesto radicalmente menor.
La comparación procede del trabajo So You Want to Build Your Own LLM? Here’s Why It Makes No Sense, firmado por Ricardo Sánchez Ruiz, de Nesilabs Tech. El estudio utiliza como caso práctico un hipotético modelo denso de 24B especializado en ciberseguridad y contrapone el preentrenamiento completo con la experiencia real de desarrollar Tosilos-24B, un ajuste de Devstral-Small-2505 publicado en Hugging Face.
La diferencia entre ambos caminos ayuda también a aclarar una confusión frecuente. Hacer fine-tuning de un modelo de 24B y crear un LLM de 24B desde cero son problemas completamente diferentes.
24.000 millones de parámetros empiezan aprendiendo absolutamente de cero
En un ajuste mediante QLoRA ya existe un modelo que sabe escribir, programar, razonar, interpretar instrucciones y relacionar conceptos. El trabajo consiste en modificar una pequeña parte de su comportamiento para especializarlo.
En el preentrenamiento no existe nada de eso.
Los 24.000 millones de parámetros comienzan inicializados sin conocimiento útil y el modelo aprende mediante predicción del siguiente token después de procesar cantidades gigantescas de texto y código.
Una aproximación habitual para estimar el coste computacional de un Transformer utiliza:
FLOPs ≈ 6 × parámetros × tokens de entrenamiento
De ahí que el número de tokens importe tanto como el tamaño del modelo.
El trabajo de Chinchilla, publicado por DeepMind en 2022, mostró que para utilizar eficientemente un determinado presupuesto computacional conviene escalar conjuntamente parámetros y datos. Su modelo de 70B fue entrenado con 1,3 billones de tokens y superó a Gopher, que tenía cuatro veces más parámetros, utilizando un presupuesto de cómputo comparable.
Aplicando una aproximación de unas 20 unidades de datos por parámetro, un modelo de 24B tendría un punto de referencia cercano a 480.000 millones de tokens. Sin embargo, los modelos modernos suelen entrenarse bastante más allá de ese nivel porque sus creadores prefieren gastar más durante el entrenamiento para obtener modelos que posteriormente sean mejores y más económicos de utilizar durante años.
El informe de Nesilabs plantea por ello cuatro escenarios:
| Entrenamiento del modelo 24B | Horas H100 estimadas | Coste a 1,50 $/hora |
|---|---|---|
| 0,5 billones de tokens | ~50.000 | ~75.000 $ |
| 2 billones de tokens | ~200.000 | ~300.000 $ |
| 5 billones de tokens | ~500.000 | ~750.000 $ |
| 24 billones de tokens | ~2.400.000 | ~3,6 millones $ |
Son estimaciones de ingeniería, no presupuestos comerciales cerrados. El cálculo presupone entrenamiento BF16 sobre H100, aproximadamente un 40 % de utilización efectiva de FLOPs y una tarifa de 1,50 dólares por GPU y hora. El precio está cerca del extremo barato del mercado: comparadores actuales sitúan ofertas puntuales de H100 SXM en Vast.ai alrededor de 1,49 dólares por hora.
Y todavía falta añadir lo que sale mal.
256 H100 durante casi tres meses
Las 500.000 horas de GPU del escenario de 5 billones pueden parecer abstractas hasta convertirlas en máquinas y tiempo.
Con 256 H100 funcionando continuamente, el entrenamiento necesitaría aproximadamente 81 días. Ese clúster consumiría unos 280.000 dólares mensuales tomando como referencia 1,50 dólares por H100 y hora.
Con 512 GPU podría reducirse el tiempo teórico hasta aproximadamente 41 días. Con 128, aumentaría hasta unos 163.
No basta, además, con sumar GPU independientes.
Los modelos de este tamaño requieren repartir pesos, estados del optimizador, activaciones y operaciones entre numerosos aceleradores. La velocidad de las interconexiones entre nodos puede condicionar tanto el rendimiento como las propias GPU.
El estudio asume una utilización efectiva del 40 %, una cifra razonable para ilustrar que el rendimiento teórico de una H100 no equivale al que se consigue durante todo el entrenamiento. La experiencia de Meta con Llama 3.1 405B también muestra la escala operacional: su entrenamiento utilizó 16.384 GPU y sufrió cientos de fallos durante la ejecución.
El documento de Nesilabs recomienda añadir entre un 15 % y un 30 % por reinicios, fallos y recuperación, además de entre un 10 % y un 25 % para experimentos, cambios de mezclas de datos y otras pruebas previas.
Un equipo que presupuestara exactamente 750.000 dólares para una ejecución de 5 billones estaría, por tanto, presupuestando el escenario en el que prácticamente todo sale bien a la primera.
Y entrenar LLM no suele funcionar así.
El medio petabyte que aparece antes de encender la primera GPU
La parte más interesante del análisis quizá no sean las H100.
Es el corpus.
Aproximando cuatro bytes de texto limpio por token, 24 billones de tokens pueden ocupar del orden de 90 a 100 TB una vez procesados y empaquetados.
El problema es que para obtener esos 100 TB limpios puede ser necesario procesar cantidades muy superiores.
Descargar web indiscriminadamente y limpiarla después podría empujar el almacenamiento temporal hacia medio petabyte, debido a páginas descartadas, contenido repetido, HTML, spam y documentos de baja calidad.
El documento propone evitarlo mediante streaming. Colecciones como FineWeb y FineWeb-Edu pueden procesarse por fragmentos desde Hugging Face, descartando contenido durante la lectura y almacenando únicamente aquello que supera los filtros.
El pipeline incluye extracción de texto, identificación de idioma, eliminación de contenido de baja calidad, detección de repetición y deduplicación mediante técnicas como MinHash/LSH.
Y aquí ocurre algo contraintuitivo: buena parte de ese trabajo no necesita GPU.
Un pequeño laboratorio con muchas CPU, almacenamiento barato y suficiente tiempo sí puede construir un corpus enorme. El propio informe considera factible preparar varios billones de tokens durante un año con máquinas convencionales.
Lo complicado es después pagar por el cómputo necesario para convertir ese corpus en un modelo.
QLoRA cambia las cifras de cientos de miles a cientos de euros
Tosilos-24B muestra la alternativa.
En lugar de intentar reproducir todo el conocimiento general que otros laboratorios ya introdujeron en sus modelos, Nesilabs partió de Mistral Devstral 24B y lo especializó en ciberseguridad.
Su receta más reciente utiliza QLoRA con cuantización NF4 de 4 bits, rango 64, alpha=128, secuencias de 4.096 tokens y dos épocas sobre 6.666 ejemplos.
El entrenamiento se realizó en una H200 durante 834 pasos. El modelo resultante conserva los 24B del modelo base y puede ejecutarse cuantizado en una GPU de aproximadamente 32 GB.
Según las evaluaciones publicadas por sus creadores, CyberMetric pasa del 91,6 % del Devstral original al 92,8 % de Tosilos-24B, mientras MMLU permanece prácticamente igual, del 77,2 % al 77,4 %. Son benchmarks publicados por el propio proyecto, por lo que sirven como referencia del resultado obtenido y no como evaluación independiente.
La diferencia económica es enorme.
El informe sitúa el coste computacional de un fine-tuning QLoRA de este tipo alrededor de 300 dólares, frente a 300.000 dólares para un preentrenamiento de 2 billones de tokens, 750.000 para 5 billones y 3,6 millones para 24 billones.
No son operaciones equivalentes. QLoRA no crea desde cero la inteligencia general del modelo. Precisamente por eso resulta tan barato: hereda el trabajo que ya hizo el desarrollador del modelo base.
DeepSeek demuestra que incluso ser extremadamente eficiente cuesta millones
DeepSeek-V3 ayuda a colocar esas cifras en perspectiva.
El modelo utiliza una arquitectura Mixture of Experts (MoE) con 671.000 millones de parámetros totales y 37.000 millones activos por token. Fue preentrenado con 14,8 billones de tokens y su informe técnico contabiliza 2,788 millones de horas de GPU H800.
De ahí salió la conocida cifra de aproximadamente 5,6 millones de dólares asociada a su ejecución final.
Pero esa cantidad no equivale a decir que DeepSeek desarrolló V3 desde cero por 5,6 millones. La cifra se refiere al cómputo contabilizado para el entrenamiento final y no incorpora de la misma manera personal, desarrollo previo, experimentos, infraestructura y modelos anteriores.
La diferencia importa.
Epoch AI estima que en los grandes modelos el hardware supone alrededor del 47 % al 67 % del coste de desarrollo, mientras el personal de investigación puede representar entre el 29 % y el 49 %.
Algo parecido ocurre con los 78 millones de dólares estimados para GPT-4: Stanford AI Index se refiere al valor aproximado del cómputo utilizado en entrenamiento, no a una factura oficial publicada por OpenAI. El mismo estudio estimó unos 191 millones para Gemini Ultra.
Por eso comparar simplemente titulares de «coste de entrenamiento» puede ser engañoso si cada cifra incluye conceptos diferentes.
Hay una tercera opción entre QLoRA y empezar desde cero
La decisión tampoco tiene por qué reducirse a dos extremos.
El estudio plantea una vía intermedia especialmente interesante: continued pre-training, o continuar entrenando un modelo base con decenas de miles de millones de tokens especializados antes de aplicar el ajuste final.
Su estimación para añadir unos 100.000 millones de tokens a un modelo existente ronda 15.000 dólares de cómputo, muy por encima de un QLoRA de cientos de euros, pero aproximadamente veinte veces por debajo del escenario de 300.000 dólares para entrenar desde cero con 2 billones de tokens.
Esta opción puede tener sentido cuando se busca algo más profundo que enseñar un formato de respuesta o un conjunto de instrucciones.
Un modelo especializado en medicina, derecho, programación o ciberseguridad puede beneficiarse de seguir aprendiendo grandes cantidades de lenguaje propio de ese dominio, documentación y conocimiento técnico sin tener que reaprender primero todo lo demás.
El gráfico de la página 12 del estudio deja bastante clara la escala: unos 300 dólares para QLoRA, aproximadamente 15.000 para continuar el preentrenamiento con 100.000 millones de tokens y desde 300.000 hasta 3,6 millones para las diferentes alternativas desde cero.
Entonces, ¿se puede entrenar un LLM de 24B desde cero?
Sí.
Incluso un equipo pequeño podría alquilar la infraestructura y hacerlo si dispone de suficiente capital, ingeniería y tiempo.
La pregunta más útil es por qué querría hacerlo.
Crear desde cero puede tener sentido cuando se necesita controlar completamente los datos, el tokenizer, la arquitectura, los idiomas, la licencia o determinados comportamientos fundamentales del modelo. También puede ser necesario para investigar nuevas arquitecturas o construir una familia de modelos cuya independencia tecnológica tenga valor por sí misma.
Para desarrollar un modelo especializado, las cuentas son distintas.
Un equipo pequeño tiene mucha más capacidad para competir en calidad del corpus, conocimiento del dominio, evaluaciones y postentrenamiento que tratando de superar a laboratorios capaces de mantener miles de GPU funcionando durante meses.
Tosilos-24B representa precisamente ese enfoque: el equipo no intenta pagar otra vez por enseñar al modelo qué es Python, cómo funciona el lenguaje o qué es Internet. Parte de esa competencia ya construida y emplea el presupuesto en hacerlo mejor dentro de un ámbito concreto.
La diferencia entre ambos caminos no es pequeña. Según los escenarios estudiados, es pasar de unos cientos de euros a cientos de miles o varios millones de dólares.
Entrenar un LLM de 24B desde cero ya no es imposible técnicamente para una empresa pequeña.
Económicamente, sigue siendo muy difícil justificarlo cuando existen buenos modelos abiertos sobre los que construir.
Preguntas frecuentes
¿Cuánto cuesta entrenar desde cero un LLM de 24B?
El estudio de Nesilabs estima alrededor de 300.000 dólares para 2 billones de tokens, 750.000 dólares para 5 billones y 3,6 millones para 24 billones, utilizando H100 a unos 1,50 dólares por GPU y hora. Son estimaciones de cómputo y no incluyen todos los costes del proyecto.
¿Cuántas H100 hacen falta para entrenar un modelo de 24B?
No existe una cifra única. Una ejecución de unas 500.000 horas de H100 podría completarse teóricamente con 256 GPU durante unos 81 días o con 512 durante aproximadamente 41 días, siempre que la infraestructura y las interconexiones permitan escalar adecuadamente.
¿Qué diferencia hay entre QLoRA y entrenar un modelo desde cero?
QLoRA parte de un modelo ya entrenado, mantiene congelados sus pesos principales y aprende pequeños adaptadores sobre una versión cuantizada. El entrenamiento desde cero debe enseñar al modelo todo su conocimiento básico utilizando cientos de miles de millones o billones de tokens.
¿Qué es Tosilos-24B?
Es un modelo de 24B especializado en ciberseguridad creado por Nesilabs a partir de Devstral-Small-2505 mediante QLoRA. Sus creadores lo publican como demostración de que especializar un modelo abierto puede realizarse con recursos muy inferiores a los necesarios para un preentrenamiento completo.
Fuente: LinkedIN
