¿Cómo bloquear a los bots de OpenAI? Y, ¿por qué deberías hacerlo?

OpenAI, la empresa líder en el campo de la inteligencia artificial, ha revelado al mundo su nuevo bot de rastreo: GPTBot. Diseñado para escudriñar la web y recolectar datos frescos, este bot alimentará modelos ya conocidos como GPT-3.5 y GPT-4, bases del famoso ChatGPT, así como futuros modelos.

Aunque GPTBot está diseñado para evitar conscientemente las páginas con muros de pago o con información personal, el resto del vasto mundo web queda a su alcance. Eso es a menos que los administradores web decidan tomar medidas con el archivo robots.txt.

¿Qué debes hacer para bloquear a GPTBot?

OpenAI, en un intento de transparencia y colaboración, ha compartido las instrucciones para restringir el acceso de este bot a tu web. De acuerdo con la información proporcionada:

Para un bloqueo completo:

User-agent: GPTBot
Disallow: /
User-agent:
chatGPT-user Disallow: /

Las dos primeras líneas impiden la entrada de GPTBot, mientras que las últimas dos se encargan de los plugins como ChatGPT-User. Es importante señalar que, si bien OpenAI ha proporcionado estas directrices, la eficacia última depende de que el propio OpenAI respete y siga estas instrucciones.

Para bloqueos selectivos, permitiendo ciertas secciones mientras restringes otras, puedes hacer lo siguiente:

User-agent: GPTBot
Allow: /directorio-1/
Disallow: /directorio-2/

Esto puede ser útil si en el futuro decidimos que ciertas herramientas de IA, como ChatGPT o Bard, proporcionan algún valor añadido que justifique permitir su acceso a determinadas secciones de nuestro sitio.

Perspectiva futura

La aparición de GPTBot y la posibilidad de rastrear la web plantea preguntas importantes sobre la privacidad, la monetización y el control del contenido en línea. Mientras que algunos administradores pueden ver beneficios en permitir el acceso, otros pueden optar por mantener a raya a estos bots. La elección, al final del día, dependerá de cada propietario de sitio web y sus objetivos individuales. Con la información y herramientas proporcionadas por OpenAI, al menos ahora tienen la opción de decidir.