Un ingeniero de Microsoft alerta de imágenes dañinas con IA

Shane Jones, ingeniero de inteligencia artificial en Microsoft, ha denunciado ante la Comisión Federal de Comercio de EE. UU. (FTC) y ante el consejo de administración de la propia Microsoft que Copilot Designer, la herramienta de generación de imágenes basada en DALL·E 3 de OpenAI, produce contenido sexualizado de mujeres a partir de peticiones tan inocuas como generar la escena de un «accidente de coche».

Qué ha denunciado exactamente

Jones sostiene que, además de generar imágenes inapropiadas, Copilot Designer presenta vulnerabilidades de seguridad que no se han corregido pese a sus avisos internos. Según su relato, cuando planteó el problema a través de los canales habituales, el departamento legal de Microsoft (CELA) le pidió retirar publicaciones sobre el asunto en LinkedIn, algo que interpreta como un intento de silenciar la denuncia. Ante esa respuesta, decidió escalarla fuera de la empresa: primero a senadores estadounidenses y después, por carta abierta, a la FTC.

Un problema que no es solo de Microsoft

El caso pone sobre la mesa un problema que persigue a toda la generación de imágenes por IA: los filtros de seguridad no siempre bloquean lo que deberían, y cuando fallan lo hacen con prompts que a primera vista parecen inofensivos. En los dos años transcurridos desde esta denuncia, la presión regulatoria sobre este tipo de contenido no ha dejado de crecer, con normas europeas que obligan a etiquetar el contenido generado con IA y que buscan, precisamente, dar más trazabilidad a este tipo de imágenes: la etiqueta «AI Generated» que empieza a aplicarse en Europa responde en parte a episodios como el que denunció Jones.

La respuesta de Microsoft y OpenAI

Ni Microsoft ni OpenAI ofrecieron en su momento una respuesta pública detallada a las acusaciones de Jones más allá de pedirle que retirase publicaciones. El episodio quedó como uno de los primeros casos públicos de un empleado de una gran tecnológica denunciando por vía externa los riesgos de un producto de IA generativa propio, un patrón que se repetiría después en otras compañías del sector a medida que crecía el escrutinio sobre la seguridad de estos modelos.

chica guapa coche rojo

Fuentes: CNBC y WSJ.

Preguntas frecuentes

¿Qué denunció exactamente Shane Jones sobre Copilot Designer?

Que la herramienta generaba imágenes sexualizadas de mujeres a partir de prompts aparentemente inofensivos, como la escena de un accidente de coche, y que tenía vulnerabilidades de seguridad sin corregir.

¿A quién avisó Jones además de a Microsoft?

Contactó con senadores estadounidenses y envió una carta abierta a la Comisión Federal de Comercio (FTC) después de que el departamento legal de Microsoft le pidiera retirar sus publicaciones.

¿En qué modelo se basa Copilot Designer?

En DALL·E 3, el modelo de generación de imágenes de OpenAI que Microsoft integra en sus productos Copilot.

¿Cómo ha evolucionado la regulación del contenido generado con IA desde entonces?

La Unión Europea ha avanzado hacia la obligación de etiquetar el contenido generado o manipulado con inteligencia artificial dentro del AI Act, una medida de transparencia pensada para casos como este.

Scroll al inicio