Nous Research ha presentado DisTrO, una innovadora tecnología que promete transformar la formación de modelos de inteligencia artificial (IA) al permitir el entrenamiento de modelos complejos desde computadoras domésticas comunes y conexiones a internet convencionales.
DisTrO ha logrado reducir drásticamente la cantidad de datos que necesitan compartirse entre computadoras durante el preentrenamiento en un factor de entre 857 y 3000 veces, y hasta 10,000 veces durante la fase de ajuste fino. Esta reducción masiva en la necesidad de transferencia de datos podría hacer que el entrenamiento de modelos de IA de gran tamaño sea viable para usuarios individuales y organizaciones pequeñas.
La metodología de DisTrO es independiente de la arquitectura y la red, lo que significa que puede funcionar con una variedad de tipos de modelos y configuraciones de red. En las pruebas realizadas, DisTrO entrenó con éxito un modelo de lenguaje de 1.2 mil millones de parámetros, logrando un rendimiento comparable al de los métodos tradicionales.
Este avance podría democratizar la formación de IA, actualmente dominada por grandes corporaciones tecnológicas con enormes recursos computacionales. Con DisTrO, la posibilidad de entrenar modelos de IA de última generación podría extenderse a personas y organizaciones que antes no tenían acceso a las infraestructuras necesarias, permitiendo así una participación más amplia en el desarrollo de la inteligencia artificial desde la comodidad del hogar.
La introducción de DisTrO marca un paso significativo hacia la descentralización de la formación de IA, abriendo nuevas oportunidades para innovadores y desarrolladores en todo el mundo.
