OpenAI, líder en el ámbito de la inteligencia artificial, ha intensificado sus esfuerzos para asegurar la implementación segura de sistemas de inteligencia artificial general (AGI), tomando medidas significativas para prevenir riesgos catastróficos. Entre estas medidas, destaca la formación de un equipo especializado en Preparación y la puesta en marcha de un desafío único en su género.
En un acto de responsabilidad y compromiso con la seguridad, OpenAI se unió en julio a otros destacados laboratorios de IA para asumir una serie de compromisos voluntarios destinados a fomentar la seguridad, la confianza y la protección en el ámbito de la inteligencia artificial. Estos compromisos abordan una amplia variedad de áreas de riesgo, poniendo especial atención en los riesgos fronterizos, que fueron el principal tema de discusión en el UK AI Safety Summit. OpenAI no solo participó activamente en este evento, sino que también compartió los avances logrados en materia de seguridad de la IA fronteriza, demostrando su compromiso con los principios establecidos.
Los modelos de IA fronterizos, caracterizados por superar las capacidades de los modelos más avanzados existentes hasta la fecha, poseen un gran potencial para beneficiar a la humanidad en su conjunto. No obstante, también acarrean riesgos cada vez mayores. La gestión efectiva de estos riesgos catastróficos implica abordar cuestiones críticas tales como:
- La evaluación del peligro que representan los sistemas de IA fronterizos cuando son mal utilizados, tanto en la actualidad como en el futuro.
- La creación de un marco sólido para el monitoreo, evaluación, predicción y protección frente a las capacidades peligrosas de los sistemas de IA fronterizos.
- La determinación de las posibles acciones de actores maliciosos en caso de robo de los pesos de los modelos de IA fronterizos.
Ante este escenario, la formación del equipo de Preparación por parte de OpenAI surge como una estrategia clave para minimizar estos riesgos, a medida que los modelos de IA continúan su proceso de mejora y evolución. El equipo, liderado por Aleksander Madry, se centrará en la evaluación de capacidades, evaluaciones e internalización de pruebas rojas para modelos fronterizos, abarcando desde los modelos a desarrollar en el corto plazo hasta aquellos con capacidades a nivel de AGI. El equipo de Preparación se encargará de rastrear, evaluar, prever y proteger contra riesgos catastróficos en diversas categorías, incluyendo persuasión individualizada, ciberseguridad, amenazas químicas, biológicas, radiológicas y nucleares (CBRN), y replicación y adaptación autónoma (ARA).
Además, OpenAI ha iniciado un proceso de reclutamiento para atraer a talentos excepcionales de diversos ámbitos técnicos, con el fin de fortalecer el equipo de Preparación y llevar los modelos de IA fronterizos a nuevos horizontes.
Para identificar áreas de preocupación menos evidentes y fortalecer el equipo de Preparación, OpenAI ha lanzado el Desafío de Preparación en IA, una iniciativa destinada a la prevención del mal uso catastrófico. Este desafío ofrecerá $25,000 en créditos de API a hasta 10 de las mejores propuestas, y se publicarán las ideas y contribuciones más innovadoras. Además, los mejores participantes del desafío serán considerados como posibles candidatos para unirse al equipo de Preparación.
Con estas iniciativas, OpenAI reafirma su compromiso con la creación de un futuro seguro y confiable en el ámbito de la inteligencia artificial, estableciendo las bases para una implementación segura de sistemas altamente capaces.
Más información en OpenAI.
