David Robinson ha dejado OpenAI después de tres años y medio en la compañía y ha criticado públicamente su cultura de desarrollo de inteligencia artificial. En un artículo publicado en The Atlantic, el antiguo responsable de seguridad sostiene que la industria está llegando a un punto en el que el método de lanzar sistemas, observar sus fallos y corregirlos después resulta cada vez más difícil de justificar a medida que aumentan las capacidades y los posibles efectos de esos errores.
Las claves de la seguridad de OpenAI en 30 segundos
- David Robinson trabajó tres años y medio en OpenAI, participó en el actual Preparedness Framework y supervisó informes de seguridad de 12 lanzamientos de modelos de frontera.
- Critica el llamado despliegue iterativo, basado en lanzar sistemas, detectar problemas y reforzar después las medidas de seguridad.
- Defiende que los laboratorios de IA adopten prácticas de sectores de alto riesgo, como la aviación o la energía nuclear.
- También reclama nueva investigación científica para garantizar que modelos mucho más capaces puedan tomar decisiones seguras cuando no exista supervisión humana directa.
- OpenAI sostiene que puede ralentizar entrenamientos o retener modelos cuando considera que todavía no puede gestionarlos y protegerlos con seguridad.
Robinson no presenta su salida como una protesta contra una única decisión de OpenAI. Su crítica apunta a una cuestión más amplia: la cultura de trabajo que, a su juicio, favorece ciclos de desarrollo muy rápidos y confía en que los problemas puedan solucionarse a medida que aparecen.
El antiguo empleado describe este enfoque como una consecuencia de la filosofía de despliegue iterativo que ha utilizado OpenAI. El método permite poner sistemas en circulación, estudiar cómo funcionan en situaciones reales y utilizar los problemas detectados para mejorar sus mecanismos de seguridad. Robinson considera que esa estrategia ha contribuido al rápido avance de la compañía, pero sostiene que también implica aceptar que se producirán fallos.
La preocupación cambia cuando los sistemas son capaces de realizar tareas cada vez más complejas y actuar con mayor autonomía. En ese escenario, el coste de un fallo puede crecer al mismo tiempo que las capacidades del modelo.
Robinson cuestiona el ritmo al que se desarrollan los modelos de frontera
Durante sus tres años y medio en OpenAI, Robinson afirma haber participado en la elaboración del actual Preparedness Framework, el marco utilizado por la compañía para evaluar determinados riesgos asociados a modelos avanzados. También supervisó la redacción de informes de seguridad correspondientes a 12 lanzamientos de modelos de frontera.
Su experiencia le ha llevado a cuestionar si el ritmo de desarrollo permite aplicar las medidas de precaución que considera necesarias. En su artículo sostiene que los laboratorios están trabajando con calendarios que se parecen a una sucesión permanente de ciclos acelerados de desarrollo.
El problema, según su argumento, no es únicamente que puedan aparecer errores. Es que la capacidad de los sistemas está creciendo mientras todavía existen importantes incógnitas sobre cómo controlar modelos que puedan actuar de manera más autónoma.
Robinson señala como ejemplo varios incidentes recientes. Entre ellos menciona el episodio ocurrido durante las pruebas con Hugging Face, en el que una gran cantidad de agentes de OpenAI actuó sobre el objetivo de la prueba. También recuerda otro fallo de los controles de seguridad durante el entrenamiento de un modelo, cuando un sistema de monitorización detectó que se habían eludido restricciones de acceso a Internet, pero el mecanismo no consiguió apagar automáticamente el modelo como estaba previsto.
Estos casos no demuestran por sí mismos que los sistemas de IA sean incontrolables, pero sí sirven para explicar la preocupación de Robinson: incluso mecanismos diseñados para limitar el comportamiento de un modelo pueden fallar en determinadas circunstancias.
La discusión adquiere mayor importancia porque OpenAI ha informado recientemente de actividades no autorizadas relacionadas con agentes de IA y ha avisado a más de 100 organizaciones sobre incidentes de este tipo.
La comparación con la aviación y la energía nuclear
La alternativa que plantea Robinson pasa por importar conocimientos de industrias acostumbradas a trabajar con sistemas donde los errores pueden tener consecuencias graves. Cita específicamente la aviación y las centrales nucleares como ejemplos de sectores que utilizan redundancias, procedimientos y diferentes capas de protección para evitar que un único fallo termine en un accidente de grandes dimensiones.
Su propuesta no consiste simplemente en añadir más controles a los modelos actuales. También reclama cambios en la composición de los equipos y en la investigación necesaria antes de desarrollar sistemas mucho más capaces.
Según Robinson, durante su etapa en OpenAI no encontró, al menos dentro de su experiencia directa, compañeros con experiencia específica en ámbitos como la seguridad aeronáutica o la operación de reactores nucleares. A su juicio, ese conocimiento externo debería tener más peso a medida que los sistemas de IA aumentan su capacidad.
El coste de aplicar este tipo de procesos es evidente: más pruebas, más controles y ciclos de desarrollo potencialmente más largos. En una industria en la que OpenAI, Anthropic, Google y otros laboratorios compiten por lanzar sistemas cada vez más capaces, introducir más etapas de verificación puede entrar en conflicto con la velocidad de desarrollo.
Robinson considera que precisamente esa tensión hace insuficiente confiar únicamente en la capacidad de las propias compañías para corregir sus problemas. Por eso reclama también incentivos externos que presionen a los laboratorios para elevar sus estándares de seguridad.
OpenAI defiende que puede frenar sus modelos si no son seguros
La compañía rechaza la interpretación de que esté desarrollando modelos sin tener en cuenta sus riesgos. Un portavoz de OpenAI declaró a Reuters que la empresa trabaja para evitar que sus sistemas lleguen a ser más capaces de lo que puede gestionar y proteger de forma segura. También afirmó que OpenAI puede pausar entrenamientos o retener modelos cuando considera necesario reducir el ritmo.
La respuesta refleja una diferencia importante entre ambas posiciones. OpenAI defiende que dispone de mecanismos para detener o ralentizar el desarrollo cuando las condiciones de seguridad lo requieren. Robinson considera que la cultura y los ritmos actuales hacen que esa capacidad de reacción sea insuficiente frente a sistemas que avanzan rápidamente.
La discusión no se limita además a OpenAI. El desarrollo de modelos de frontera se ha convertido en una carrera entre diferentes compañías, mientras gobiernos y expertos debaten qué controles deberían aplicarse a los sistemas más avanzados. Reuters ha informado también de propuestas para aumentar la supervisión y de una creciente presión pública sobre los laboratorios para demostrar que sus mecanismos de seguridad funcionan.
El debate de fondo es qué modelo de desarrollo resulta adecuado cuando los sistemas dejan de limitarse a generar texto o imágenes y empiezan a ejecutar tareas, utilizar herramientas y actuar de forma más autónoma. Para Robinson, esa evolución exige abandonar la idea de que siempre habrá tiempo para corregir un fallo después de detectarlo.
Su salida de OpenAI no demuestra que la compañía haya abandonado sus mecanismos de seguridad ni que los modelos actuales sean incontrolables. Sí pone sobre la mesa una discrepancia interna sobre cuánto riesgo puede asumir una industria que está aumentando las capacidades de sus sistemas a un ritmo que, según el propio Robinson, puede superar al conocimiento disponible para garantizar su comportamiento seguro.
Preguntas frecuentes
¿Quién es David Robinson y por qué ha dejado OpenAI?
Robinson trabajó tres años y medio en OpenAI, participó en la elaboración del Preparedness Framework y supervisó informes de seguridad de 12 lanzamientos de modelos de frontera. Ha explicado su salida criticando la cultura y el ritmo de desarrollo de la compañía.
¿Qué critica Robinson del despliegue iterativo de OpenAI?
Considera que lanzar sistemas, observar sus fallos y corregir posteriormente las medidas de seguridad implica aceptar errores periódicos. A su juicio, ese enfoque resulta más problemático a medida que aumentan las capacidades de los modelos.
¿Qué propone para mejorar la seguridad de la IA?
Defiende que los laboratorios incorporen prácticas de industrias como la aviación y la energía nuclear, con más redundancias y planificación preventiva. También reclama nueva investigación científica sobre cómo conseguir que modelos mucho más capaces tomen decisiones seguras.
¿Qué responde OpenAI a estas críticas?
La compañía sostiene que trabaja para que sus modelos no superen el nivel de capacidad que puede gestionar y proteger de forma segura. También afirma que puede pausar entrenamientos o retener modelos cuando considera necesario hacerlo.
