La seguridad en inteligencia artificial se ha convertido en un desafío de ingeniería, donde es fundamental establecer requisitos de seguridad definidos, controles aplicables, responsables designados y evidencia de que las protecciones son efectivas. A medida que la inteligencia artificial continúa avanzando, la industria se enfrenta al reto de acelerar la ingeniería de seguridad, ampliar el acceso a herramientas defensivas y compartir rápidamente las estrategias que funcionan.
Los cambios tecnológicos, como el internet y la computación en la nube, han modificado el funcionamiento del software, aunque los fundamentos de la seguridad han perdurado: establecer identidades, controlar el acceso, limitar la exposición y verificar que las protecciones sean efectivas. Los agentes de inteligencia artificial añaden nuevas capacidades al permitir el razonamiento, el uso de herramientas y la adaptación de acciones basadas en datos. Esto requiere aplicar principios establecidos a nuevas condiciones operativas, especialmente en un contexto donde las organizaciones buscan aprovechar los beneficios productivos de la IA mientras las prácticas para gobernar y asegurar estos sistemas aún se están desarrollando.
La seguridad actual depende de un conjunto de factores que incluyen el código, los datos, las identidades, los servicios y la infraestructura. Los agentes de IA extienden estos sistemas, y para garantizar una protección adecuada es necesario implementar controles en cada capa por donde circulan datos, instrucciones y acciones.
Cuando un agente interactúa con sistemas, como actualizar un registro de cliente, podrían presentarse amenazas como instrucciones maliciosas que buscan exportar datos no autorizados. Es en estas situaciones donde políticas de red deben bloquear transferencias ilegales, y los registros deben documentar llamadas a herramientas y decisiones de autorización para que los equipos de seguridad puedan investigar e identificar cualquier intento ilícito.
El funcionamiento seguro de los agentes también implica definir claramente sus identidades y credenciales, limitadas a las tareas asignadas. Las organizaciones deben establecer políticas claras sobre qué información pueden acceder los agentes, qué sistemas pueden modificar y qué acciones requieren aprobación. Dentro de estos límites, acciones significativas y cambios de permisos aún necesitan el consentimiento humano.
Además, garantizar que las herramientas, habilidades y dependencias que utilizan los agentes sean seguras es fundamental. Ante una falla, los registros protegidos de las llamadas a herramientas, decisiones de autorización y resultados son vitales para reconstruir los eventos. El establecimiento de procedimientos claros para revocar accesos y contener incidentes asegura que las pruebas correctivas sean efectivas.
Herramientas como NVIDIA OpenShell o el DefenseClaw de Cisco añaden capas de gobernanza, mientras que iniciativas de empresas como JFrog y Capital One integran la seguridad en la IA mediante la verificación de habilidades y análisis de código impulsados por inteligencia artificial.
La clave para enfrentar los nuevos desafíos de seguridad que presenta la inteligencia artificial es colaborar y compartir información sobre fallos, controles efectivos y verificación de soluciones. La investigación abierta y las herramientas compartidas fortalecen la capacidad de defensa de la comunidad en su conjunto, mejorando los estándares de seguridad a medida que estas capacidades evolucionan.
Fuente: Zona de blogs y prensa de Nvidia
