NVIDIA y más de 50 empresas crean una alianza para proteger la IA abierta

NVIDIA, Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Mistral, Red Hat y decenas de compañías tecnológicas han puesto en marcha la Open Secure AI Alliance, una iniciativa destinada a desarrollar herramientas abiertas para mejorar la seguridad de los modelos y agentes de inteligencia artificial. El grupo quiere que empresas, administraciones y equipos de ciberseguridad puedan inspeccionar, adaptar y ejecutar sus propias defensas sin depender por completo de plataformas cerradas.

Las claves de la Open Secure AI Alliance en 20 segundos

  • Más de 50 empresas y organizaciones participan como miembros iniciales.
  • La alianza desarrollará herramientas abiertas para proteger modelos, agentes y software.
  • NVIDIA aporta NOOA, un entorno para probar, rastrear y auditar agentes de IA.
  • El proyecto defiende la convivencia entre modelos abiertos y cerrados.
  • Su principal reto será convertir una amplia coalición empresarial en estándares y proyectos utilizables.

La organización reúne a fabricantes de infraestructura, proveedores cloud, empresas de ciberseguridad, desarrolladores de modelos y grandes compañías de software empresarial. En la lista inicial aparecen Adobe, Box, Capital One, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, LangChain, la Linux Foundation, NetApp, Nokia, Palantir, Palo Alto Networks, Salesforce, SAP, ServiceNow, Siemens, Snowflake, Synopsys, Uber y Zscaler, entre otros.

El anuncio parte de una idea cada vez más presente en la industria: proteger una aplicación con inteligencia artificial exige algo más que evaluar el modelo que genera las respuestas. También deben asegurarse las identidades, permisos, herramientas, datos, registros, entornos de ejecución y mecanismos que controlan lo que el agente puede hacer.

La seguridad de la IA ya no depende solo del modelo

Un agente de inteligencia artificial no es únicamente un modelo de lenguaje. Es un sistema compuesto por varias capas que pueden acceder a bases de datos, ejecutar código, consultar aplicaciones empresariales o modificar recursos mediante interfaces de programación.

Cada una de esas conexiones amplía su utilidad, pero también introduce riesgos.

Un agente puede recibir instrucciones manipuladas desde un documento, utilizar una herramienta con permisos excesivos, revelar información confidencial o ejecutar una acción que el usuario no había autorizado. También puede depender de componentes de terceros cuya integridad no ha sido comprobada.

Por ese motivo, la Open Secure AI Alliance plantea trabajar sobre toda la cadena:

  • identidad de agentes y cargas de trabajo;
  • aislamiento de procesos;
  • formatos seguros para modelos;
  • análisis de código y vulnerabilidades;
  • trazabilidad de decisiones;
  • evaluación de comportamientos;
  • protección de la cadena de suministro;
  • controles sobre herramientas y permisos.

La propuesta se apoya en trabajos ya existentes de la Linux Foundation y de la Open Source Security Foundation (OpenSSF), cuya comunidad desarrolla prácticas para proteger el software abierto y el ciclo completo de las aplicaciones de aprendizaje automático. La OpenSSF considera que la seguridad debe mantenerse desde la recopilación de datos y el entrenamiento hasta la distribución y ejecución del modelo.

Por qué la alianza defiende modelos y herramientas abiertas

El debate sobre IA abierta suele centrarse en la publicación de los pesos del modelo. Sus defensores argumentan que permite estudiar el funcionamiento del sistema, ejecutarlo en una infraestructura propia y adaptarlo a necesidades concretas. Sus críticos advierten de que también facilita la eliminación de controles o su utilización con fines maliciosos.

La nueva alianza reconoce esos riesgos, pero rechaza que mantener un modelo cerrado sea suficiente para evitar abusos.

Su planteamiento es que los equipos defensivos necesitan acceder a herramientas que puedan inspeccionar y modificar. Una empresa que investiga una intrusión puede requerir un modelo ejecutado dentro de su propia red, sin enviar registros, código o datos sensibles a un proveedor externo.

Esta capacidad también resulta relevante para organizaciones sometidas a requisitos de soberanía, confidencialidad o residencia de datos. Una entidad financiera, una administración pública o un operador de infraestructuras críticas pueden necesitar conocer exactamente dónde se procesa la información y quién controla el sistema.

La Linux Foundation resume la finalidad de la iniciativa como un esfuerzo para hacer más seguros los modelos abiertos, sus pesos y los entornos que dirigen a los agentes, manteniendo al mismo tiempo la visibilidad y el control de los equipos defensivos.

La alianza no plantea sustituir todos los modelos propietarios. Defiende una arquitectura en la que modelos abiertos y cerrados puedan utilizarse según el caso, combinando las capacidades de los sistemas comerciales más avanzados con herramientas desplegadas y controladas por cada organización.

NOOA, la aportación inicial de NVIDIA

Uno de los primeros proyectos asociados al anuncio es NVIDIA Labs Object-Oriented Agents, conocido como NOOA.

Se trata de un framework abierto y agnóstico respecto al modelo, desarrollado en Python para crear agentes mediante una interfaz orientada a objetos. Su objetivo es reunir en una misma clase el estado del agente, sus instrucciones, capacidades, herramientas e interfaces tipadas.

NVIDIA presenta este diseño como una forma de facilitar el desarrollo de agentes más fiables y comprensibles. El proyecto busca que las aplicaciones puedan probarse, rastrearse, auditarse y gobernarse con mayor claridad. Su código se ha publicado en GitHub y el repositorio describe NOOA como un entorno experimental para el desarrollo de agentes fiables.

La aportación encaja con una preocupación creciente en los equipos de seguridad: muchos frameworks de agentes separan las instrucciones, herramientas, flujos y devoluciones de llamada en componentes diferentes. Esa dispersión puede dificultar conocer qué capacidades tiene realmente el sistema y por qué ha ejecutado una acción.

NOOA intenta ofrecer una representación más estructurada, aunque su publicación inicial todavía no permite evaluar su adopción, madurez o comportamiento en entornos empresariales. Como ocurre con cualquier proyecto recién presentado, deberá demostrar que puede integrarse con modelos, plataformas y controles de seguridad diferentes.

Una arquitectura defensiva formada por varios proyectos

Los participantes no parten de cero. Varias compañías han incorporado a la alianza tecnologías que ya estaban desarrollando.

HPE trabaja en SPIFFE y SPIRE, dos proyectos orientados a proporcionar identidades verificables a servicios y cargas de trabajo. Aplicados a los agentes, estos mecanismos podrían ayudar a comprobar qué sistema está realizando una petición y si tiene autorización para acceder a un determinado recurso.

Hugging Face ha desarrollado Safetensors, un formato para almacenar pesos de modelos sin depender de mecanismos de serialización capaces de ejecutar código al abrir un archivo. El objetivo es reducir un riesgo conocido en la distribución de modelos procedentes de repositorios externos.

IBM y Red Hat aportan trabajos relacionados con la firma digital de parches, mientras Microsoft desarrolla MDASH, un sistema que coordina varios agentes especializados para buscar, discutir y demostrar vulnerabilidades explotables.

Estas contribuciones muestran que la alianza no se limitará a publicar un único modelo de ciberseguridad. Su ambición es construir una pila defensiva compuesta por identidades, formatos, entornos de ejecución, herramientas de análisis y procesos de respuesta.

La dificultad estará en conseguir que todos esos elementos funcionen juntos. Una colección de proyectos aislados no equivale automáticamente a una arquitectura común. Para lograrlo serán necesarios estándares, documentación, pruebas de interoperabilidad y una gobernanza capaz de equilibrar los intereses de decenas de participantes.

El incidente de Hugging Face utilizado como ejemplo

NVIDIA cita un reciente incidente de seguridad sufrido por Hugging Face para justificar la necesidad de disponer de modelos defensivos abiertos.

Según el relato publicado por la compañía, algunas herramientas cerradas bloquearon tareas de análisis forense al no distinguir adecuadamente entre las acciones de un atacante y las de un defensor. Hugging Face habría recurrido entonces a un modelo de pesos abiertos ejecutado en su propia infraestructura para revisar más de 17.000 acciones y contener la intrusión.

La experiencia se utiliza para defender que los responsables de seguridad necesitan sistemas que puedan configurar sin depender de las restricciones de un servicio externo. Las mismas técnicas que permiten analizar código malicioso pueden parecer peligrosas para un proveedor, aunque sean necesarias durante una investigación legítima.

No obstante, un modelo abierto no garantiza por sí mismo una mejor respuesta. El resultado dependerá de la calidad del modelo, los datos disponibles, los controles de acceso y la capacidad del equipo que lo utiliza. La apertura aporta inspección y autonomía, pero también traslada más responsabilidad a la organización que despliega el sistema.

Una alianza con gran presencia empresarial y varios interrogantes

La imagen de presentación muestra una coalición inusualmente amplia. En ella conviven fabricantes de hardware, operadores de telecomunicaciones, plataformas de datos, desarrolladores de modelos, proveedores cloud y empresas especializadas en ciberseguridad.

Esa diversidad puede acelerar la creación de herramientas compatibles con distintos entornos. También puede dificultar la toma de decisiones.

Todavía quedan por conocer aspectos esenciales: cómo se gobernará la alianza, qué licencia utilizarán sus proyectos, qué requisitos deberán cumplir los miembros, cómo se divulgarán las vulnerabilidades y qué mecanismos impedirán que una compañía convierta una especificación abierta en una extensión de su propia plataforma.

También será necesario evitar duplicidades con iniciativas ya existentes, como la Coalition for Secure AI, los grupos de seguridad de OpenSSF y los numerosos proyectos de la Linux Foundation relacionados con inteligencia artificial.

La alianza se apoya en el trabajo de Akrites, presentado en junio de 2026 para aplicar inteligencia artificial avanzada a la protección de software abierto frente a amenazas también asistidas por IA. El proyecto pretende reforzar el análisis de vulnerabilidades, la aplicación de parches y la defensa del software utilizado en infraestructuras críticas.

El debate también llegará a los reguladores

La Open Secure AI Alliance quiere influir en la forma en que los gobiernos regulan los modelos abiertos.

Sus promotores sostienen que las restricciones generales sobre modelos avanzados de pesos abiertos podrían limitar la capacidad de defensa de empresas y países, además de concentrar la infraestructura en un pequeño número de proveedores.

La cuestión no tiene una respuesta sencilla. La publicación de pesos puede facilitar la investigación, la auditoría y la ejecución local, pero también permite modificar el modelo sin conservar las protecciones originales.

El desafío para los reguladores consistirá en diferenciar entre apertura, capacidad y riesgo real. Un modelo pequeño especializado en revisar registros no plantea el mismo peligro que un sistema avanzado capaz de automatizar operaciones ofensivas. Tampoco resulta equivalente publicar código, ofrecer acceso mediante una API o distribuir todos los pesos y datos de entrenamiento.

La nueva alianza propone responder mediante evaluaciones rigurosas, reglas contra el uso malicioso, corrección rápida de vulnerabilidades y controles aplicados a todo el sistema. El éxito dependerá de que esas medidas se concreten en herramientas y procedimientos verificables, no solo en declaraciones de principios.

La seguridad de los agentes será uno de los grandes problemas técnicos de los próximos años. La creación de esta coalición indica que la industria empieza a tratarla como una responsabilidad compartida, similar a la protección del software abierto que sostiene buena parte de Internet.

Preguntas frecuentes

¿Qué es la Open Secure AI Alliance?

Es una alianza formada por empresas tecnológicas, organizaciones de código abierto y compañías de ciberseguridad para desarrollar y compartir herramientas abiertas destinadas a proteger modelos, agentes y aplicaciones de inteligencia artificial.

¿Qué empresas participan en la alianza?

Entre los miembros iniciales figuran NVIDIA, Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Mistral, Red Hat, GitHub, Fortinet, Palo Alto Networks, Salesforce, SAP, Siemens, Snowflake y la Linux Foundation.

¿Qué es NVIDIA NOOA?

NOOA es un framework abierto en Python para desarrollar agentes de IA mediante una estructura orientada a objetos. Busca facilitar las pruebas, el seguimiento, la auditoría y el control de su comportamiento.

¿La alianza defiende únicamente los modelos abiertos?

No. Sus promotores sostienen que los modelos abiertos y cerrados deben convivir, pero consideran necesario que los equipos defensivos dispongan de sistemas que puedan inspeccionar, adaptar y ejecutar en su propia infraestructura.

Scroll al inicio