Inspirados en las pruebas previas a la bomba atómica, investigadores proponen cuantificar el riesgo de perder el control sobre sistemas de IA avanzados antes de permitir su despliegue público
El debate sobre los límites éticos y técnicos del desarrollo de inteligencia artificial avanza hacia un nuevo terreno: el cálculo explícito del riesgo de perder el control sobre una IA avanzada. En un paralelismo que algunos podrían considerar exagerado, investigadores del MIT proponen aplicar una prueba de seguridad inspirada en la que precedió al ensayo nuclear Trinity en 1945, antes de permitir la liberación de una Superinteligencia Artificial (ASI).
La propuesta proviene de Max Tegmark, físico y experto en IA del Instituto Tecnológico de Massachusetts, quien junto a tres estudiantes ha publicado un estudio donde argumenta que las empresas que desarrollan modelos avanzados deben calcular lo que denomina la “constante de Compton” de la IA: la probabilidad de que un modelo de inteligencia artificial escape al control humano una vez desplegado.
¿Un cálculo como el que precedió a la bomba atómica?
Antes de que se realizara la primera detonación nuclear en el marco del Proyecto Manhattan, el físico Arthur Compton y su equipo evaluaron la posibilidad de que una explosión nuclear pudiera provocar una reacción en cadena en la atmósfera terrestre. La probabilidad estimada fue de “menos de una entre tres millones”, lo cual permitió seguir adelante con la prueba Trinity.
En el caso de Tegmark, el cálculo aplicado a una futura ASI —una IA hipotética capaz de automejorarse, razonar de forma autónoma y superar ampliamente la inteligencia humana— arroja una probabilidad del 90 % de que represente un peligro para la humanidad si no se establecen medidas de seguridad.
“No basta con decir ‘nos sentimos bien con lo que hemos creado’. Hay que calcular el porcentaje de riesgo con base científica”, advierte Tegmark.
El llamado a una normativa estandarizada
Tegmark no solo exige responsabilidad a las empresas tecnológicas, sino también una coordinación global para definir métricas y estándares comunes. Considera que este tipo de cálculo debería convertirse en una práctica habitual, equivalente a una auditoría de ciberseguridad o una certificación de producto.
El investigador, también cofundador del Future of Life Institute, fue uno de los impulsores de la carta abierta de 2023 que pedía una moratoria en el desarrollo de modelos de IA de gran escala. Entre los firmantes figuraban figuras influyentes como Elon Musk y Steve Wozniak. Su enfoque ha sido constante: no frenar la innovación, sino garantizar que se desarrolle de forma segura y ética.
Riesgo percibido vs. urgencia económica
La propuesta se enmarca en un contexto donde el avance de la IA generativa y los modelos fundacionales —como los de OpenAI, Google DeepMind, Anthropic o xAI— avanza a un ritmo sin precedentes, y donde las consideraciones de seguridad parecen ir a la zaga de los incentivos económicos y geopolíticos.
En declaraciones recientes, Tegmark ha recordado que tecnologías como los agentes autónomos, capaces de tomar decisiones sin supervisión directa y comunicarse entre sí, ya están en fase de desarrollo y pruebas, lo que refuerza la urgencia de establecer mecanismos de control previos.
Un debate que trasciende lo técnico
El concepto de aplicar pruebas tipo “Trinity” a modelos de IA abre un nuevo capítulo en el debate ético sobre la inteligencia artificial. ¿Deben las empresas de tecnología someter sus algoritmos más avanzados a una validación pública de riesgos existenciales antes de lanzarlos al mercado? ¿Qué actor tendría la capacidad (o la legitimidad) de supervisar ese proceso?
Para Tegmark y otros expertos como Yoshua Bengio, coautor con él del reciente Singapore Consensus sobre prioridades de seguridad en IA, no se trata de ciencia ficción ni alarmismo, sino de aplicar el mismo nivel de precaución que en otras tecnologías potencialmente catastróficas.
La superinteligencia artificial aún no ha llegado, pero su sombra ya se cierne sobre el debate científico, político y empresarial. Y si los modelos actuales siguen escalando, pronto podríamos enfrentarnos a la necesidad de responder con cifras —y no solo con intenciones— a la gran pregunta: ¿y si no podemos detenerla?
vía: pcgamer
