OpenAI confirmó en mayo de 2024 que estaba explorando cómo permitir, de forma responsable, la generación de contenido pornográfico con sus modelos de IA. Joanne Jang, del equipo de producto de la compañía, lo explicó a NPR como parte de una revisión de su política sobre contenido no apto para todos los públicos (NSFW).
Un debate que ya había empezado con Sora
No era la primera vez que alguien de OpenAI dejaba la puerta abierta a este tipo de contenido. Meses antes, Mira Murati, entonces directora técnica de la compañía, había reconocido al Wall Street Journal que aún no tenían decidido si permitirían usar Sora, su herramienta de generación de vídeo, para crear contenido para adultos.
El problema de fondo: con qué se entrenó el modelo
La cuestión no es solo si generar este tipo de contenido, sino con qué datos. Los modelos de OpenAI se entrenaron con enormes cantidades de contenido web público, una parte del cual es material para adultos, y hasta hace relativamente poco no existía forma de que los creadores originales pudieran excluir su trabajo de ese entrenamiento. Si OpenAI generaliza este tipo de generación, los propios creadores de contenido para adultos competirían contra un modelo entrenado en parte con su propio trabajo.
Los filtros de seguridad ya han fallado antes
El historial reciente no juega a favor de la confianza. Poco antes de este anuncio, Microsoft tuvo que corregir Designer, su herramienta de imágenes basada en modelos de OpenAI, después de que usuarios encontraran la forma de generar imágenes desnudas de Taylor Swift sin su consentimiento. Y ya había casos documentados de estudiantes usando apps de IA para «desnudar» fotos de compañeros de clase, un uso que en varios países empezaba a tipificarse como delito.
Un terreno que la compañía ha seguido pisando con cautela
OpenAI no resolvió el debate de golpe. En los años siguientes fue publicando políticas más detalladas sobre privacidad, libertad y seguridad adolescente en ChatGPT, con predicción de edad y controles parentales, un enfoque que trata de separar claramente a los usuarios adultos de los menores antes de plantearse cualquier flexibilización del contenido permitido.
Preguntas frecuentes
¿Qué anunció exactamente OpenAI?
Que estaba estudiando cómo permitir de forma responsable la generación de contenido pornográfico con IA, dentro de una revisión de su política de contenido NSFW.
¿Qué pasó con la herramienta Designer de Microsoft?
Tuvo que corregirse después de que usuarios consiguieran generar imágenes desnudas de Taylor Swift sin su consentimiento usando modelos de OpenAI.
¿Con qué datos se entrenaron los modelos que podrían generar este contenido?
Con grandes volúmenes de contenido web público, que incluye material para adultos recopilado sin licencia explícita de los creadores originales durante buena parte del entrenamiento.
¿Cómo ha evolucionado la postura de OpenAI sobre menores y contenido sensible?
La compañía ha ido reforzando predicción de edad y controles parentales en ChatGPT, buscando separar a usuarios adultos de menores antes de plantear cualquier cambio en el contenido permitido.
Sobre cómo ha evolucionado este debate puedes leer la estrategia de OpenAI sobre privacidad, libertad y seguridad adolescente, las nuevas medidas de predicción de edad y control parental en ChatGPT y cómo Dinamarca blinda por ley la imagen de las personas frente a los abusos de la IA.
Fuente: TechCrunch
