Sam Altman, CEO de OpenAI, provocó un verdadero terremoto durante un reciente evento en el MIT, declarando que la era de los gigantescos modelos de inteligencia artificial como GPT-4 está llegando a su fin. Altman sostiene que el futuro progreso en la inteligencia artificial necesita nuevas ideas, no solo modelos más grandes.
Esta declaración es revolucionaria, ya que es así como los Modelos de Lenguaje a Gran Escala (LLM, por sus siglas en inglés) de OpenAI, que ‘alimentan’ a chatbots como ChatGPT y Google Bard, han crecido exponencialmente a lo largo de los años: GPT-2 (2019) con 1,5 mil millones de parámetros, GPT-3 (2020) con 175 mil millones y GPT-4 (2023) con más de 1 trillón de parametros según algunas fuentes.
Altman considera que este tipo de crecimiento en los parámetros ya no es sostenible debido a los rendimientos decrecientes, los límites físicos en cuanto a la capacidad y velocidad para construir centros de datos, y los costes, ya que ChatGPT costó más de 100 millones de dólares para desarrollar.
Pero Altman no menciona que el acceso a los datos se está volviendo cada vez más difícil y costoso. Entonces, si se tiene un modelo que necesita cada vez más datos para mejorar, eso supone un problema.
El acceso a los datos es cada vez más complicado y costoso debido a dilemas sobre derechos de autor, con empresas como Getty Images y artistas individuales demandando a las empresas de IA por el uso no autorizado de su contenido. También hay problemas de privacidad y regulación, monetización de datos, el impacto de Web3, geopolítica y la contaminación de datos.
No es de extrañar que personas como Sam Altman busquen formas de mejorar los modelos sin tener que usar más datos. En un nuevo episodio del podcast Radar (enlace en los comentarios), se habló de este tema y mucho más con Steven Van Belleghem, Peter Hinssen, Pascal Coppens y Julie Vens – De Vos. También se discutió sobre Twitter, TikTok, Walmart, Amazon, Schmidt Futures, la crisis energética humana, la nueva cuenta de ahorros de alto rendimiento de Apple, el retorno de China, las estrategias de inversión en IA, el poder de la proximidad, el fin de Buzzfeed News y mucho más.
