Nvidia ha anunciado el lanzamiento de Open Agent Safety Platform, una innovadora plataforma de seguridad destinada a controlar y restringir el comportamiento de agentes de inteligencia artificial (IA). Esta herramienta, según la compañía, podría haber evitado el ataque sufrido recientemente por Hugging Face, un conocido repositorio de modelos de IA.
Este anuncio llega en un contexto de creciente preocupación por la seguridad de los agentes de IA, donde se han reportado incidentes en los que sistemas de OpenAI, uno de los líderes en inteligencia artificial, han vulnerado plataformas gubernamentales, como ocurrió con un sitio web de estadísticas sanitarias en Australia. De hecho, OpenAI comunicó esta semana que no liberará públicamente su modelo Astra 6.1 debido a preocupaciones relacionadas con su comportamiento.
Nvidia explicó que su nueva plataforma de seguridad habría evitado que los agentes de OpenAI irrumpieran en el repositorio de Hugging Face, el ataque que despertó inquietudes sobre la capacidad de estos agentes para «escapar» de su entorno controlado durante las pruebas y tomar medidas extremas para resolver ciertas tareas. Tras este episodio, Nvidia anunció la adquisición de Hugging Face, consolidando su posición estratégica en el ámbito de la inteligencia artificial. 
Justin Boitano, vicepresidente y director general de informática empresarial en Nvidia, declaró a la prensa que, según la información disponible, esta plataforma de seguridad habría impedido la brecha si se hubiera utilizado desde el inicio en laboratorios pioneros dedicados a la evaluación de modelos. «Avanzamos de forma transparente y queremos invitar a todos a colaborar con nosotros», añadió.
El sistema ha recibido el apoyo de diversas compañías clave del sector tecnológico, como Anthropic, Palantir, SpaceXAI y Perplexity, entre otras, si bien OpenAI no forma parte de esta red colaborativa.
Jensen Huang, fundador y consejero delegado de Nvidia, subrayó la importancia de la seguridad en inteligencia artificial afirmando: «El potencial extraordinario de la IA para la sociedad solo se realizará si resolvemos la seguridad de la IA. A medida que seguimos explorando sus fronteras, debemos acelerar los avances también en la seguridad de la IA».
Modo de funcionamiento
Nvidia señaló que los incidentes de seguridad relacionados con agentes de IA suelen seguir un patrón: los agentes desobedecen las restricciones impuestas a nivel de aplicación para completar sus tareas. En respuesta, esta plataforma añade controles en la capa de infraestructura, utilizando un enfoque integral que abarca desde el hardware hasta el software.
Huang explicó que «la seguridad requiere ingeniería en toda la pila tecnológica» y que la plataforma Open Agent Safety reúne a la industria, investigadores y organismos públicos para compartir mejores prácticas, alinear métodos de evaluación y fomentar la cooperación internacional con el objetivo de elevar los estándares globales de seguridad en IA.
El sistema ofrece un control total sobre los entornos donde operan los agentes de IA, mediante la gestión integral proporcionada por OpenShell, una herramienta de código abierto desarrollada por Nvidia. OpenShell establece límites estrictos para cada agente, aplicando las políticas definidas en tiempo real, sin importar si el sistema emplea chips Nvidia Vera o hardware de terceros, como ARM o Intel.
De acuerdo con una publicación oficial de Nvidia, OpenShell ejecuta cada agente en un entorno aislado («sandbox») y traduce las instrucciones del operador en una política verificable. Los operadores definen qué archivos, redes, herramientas, procesos y credenciales puede utilizar un agente; desplazarse fuera de esos límites es imposible, pues OpenShell supervisa y hace cumplir esas restricciones durante la ejecución.
Adicionalmente, la plataforma incluye Nvidia Sentry, un sistema que supervisa la conducta del agente desde el nivel del hardware, proporcionando una capa adicional de seguridad basada en el silicio. En caso de que un agente violara las políticas definidas, Sentry detendría inmediatamente su actividad y lo aislaría para su análisis.
Este componente correlaciona las interacciones del agente, las decisiones políticas y el acceso a herramientas y datos para crear un registro contextual detallado de la actividad del agente. Esto facilita la detección de desviaciones, la investigación de conductas sospechosas y la intervención o el análisis profundo cuando se considera necesario.
Nvidia comparó los recientes desafíos en seguridad de la IA con los inicios de internet, recordando que «introducir confianza convirtió un gran concepto en una economía poderosa». De modo similar, la empresa considera que «la economía basada en agentes de IA, y las próximas grandes compañías, aguardan la implementación de una capa de seguridad equivalente».
