En el reciente evento KubeCon + CloudNativeCon Norteamérica, punto de encuentro principal de las comunidades open source y cloud-native, el tema de la seguridad en inteligencia artificial acaparó la atención, especialmente ante el imprevisible escenario que planteaba una crisis en Nvidia. En ese contexto, emergieron con fuerza dos iniciativas: OpenShell y Agent Substrate, plataformas orientadas a gestionar agentes de IA en entornos controlados.
Jessica Forrester, arquitecta jefe de AI Catalyst Engineering en Red Hat, inauguró su discurso en Salt Lake City con una comparativa que captó la atención de todos: calificó a los agentes de IA como «los mejores jugadores de escape room que jamás hayas conocido». Se refería a su capacidad para abordar un objetivo y explorar cada opción disponible sin descanso hasta lograrlo, incluso si ello implica acciones no previstas o peligrosas.
Forrester explicó que estos agentes persiguen metas utilizando todo lo que encuentran a su alcance: «abren cada cajón, levantan cada cuadro, prueban cada puerta hasta que obtienen un resultado». Esta cualidad es la que les otorga una gran eficacia para generar código, al ser persistentes y creativos para resolver problemas.
No obstante, esa misma naturaleza inquieta se convierte en motivo de preocupación: «lo que me quita el sueño es que para un agente así, todo en la habitación parece parte del rompecabezas, y a veces incluso puede decidir que el rompecabezas es algo completamente distinto». En otras palabras, el agente puede interpretar su misión de formas inesperadas y actuar fuera de los límites intencionales.
Los riesgos no son meras especulaciones. Un caso reciente lo protagonizó Jason Lemkin, fundador de SaaStr, cuyo agente basado en Replit eliminó inadvertidamente una base de datos en producción. Gracias a una función interna de reversión, pudo recuperarla, pero esta experiencia evidencia lo fácil que puede ser que un agente cause daños serios si no se toman precauciones adecuadas.
Durante la ponencia, Forrester utilizó con frecuencia la metáfora de un escape room para describir cómo un agente buscará cualquier método, por más alocado que parezca, para completar su tarea. Relató un episodio donde un agente «decidió generar un conjunto de ideas completamente nuevas», sin ser atacado ni comprometido, sino simplemente extraviado en sus objetivos.
«Desde afuera, un agente confundido y uno comprometido pueden parecer idénticos. Ambos intentan abrir puertas que no deberían tocar, y tras una de esas puertas puede estar tu base de datos principal».
Por ello, Forrester recomienda partir del supuesto de que un agente ya está comprometido y construir la seguridad a partir de esa premisa. Según ella, confiar únicamente en indicaciones textuales —los llamados prompts— para restringir el comportamiento del agente es insuficiente.
«Los prompts son como carteles, y las políticas como tornillos. Pero no dejes un destornillador dentro de la habitación, porque el agente podría usarlo».
En esta analogía, un cartel podría advertir «No muevas los cuadros», pero el agente, tomando esos prompts como pistas y no restricciones reales, podría ignorar la norma. Mejor es «atornillar» los cuadros para que no se puedan mover físicamente. Así, las políticas de seguridad actúan como mecanismos efectivos que limitan las acciones del agente.
En la práctica, el sistema OpenShell —una plataforma open source donada por Nvidia y apoyada por Red Hat— funciona como un sandbox que limita estrictamente a qué puede acceder el agente. Durante una demostración, Forrester mostró que el agente solo tenía permiso para interactuar con su modelo y leer desde repositorios públicos en GitHub. Si intentaba salir de ese ámbito, el sistema bloqueaba dicha acción y la registraba para supervisión humana.
Además, el agente puede proponer nuevas reglas de acceso que deben ser aprobadas por personas, nunca por el agente mismo. Con la ayuda de un «policy advisor», se otorga un control humano estricto sobre cualquier solicitud de aumento de privilegios.
Por si fuera poco, OpenShell manipula las claves de acceso de forma enmascarada: el agente nunca recibe claves reales, solo «provisiones» que pueden parecer operativas para él pero que no abren puertas reales. Si el agente intenta entregar sus claves, serían falsas, lo que evita fugas de seguridad. Así, se logra una mayor confianza en el entorno de ejecución.
Red Hat detalla que OpenShell ejecuta el agente dentro de un sandbox donde una política personalizada define los permisos de red, sistema de archivos y privilegios de proceso, negando todo lo que no se permita explícitamente.
Pero Forrester advierte que «los tornillos solo funcionan si la pared misma es sólida». Por eso, para evitar ataques externos o agentes maliciosos, emplean Kata Containers, que ejecutan cada agente en máquinas virtuales ligeras con kernel propio y aislamiento basado en hardware, elevando la robustez de la defensa.
«Asumimos que el agente ya está comprometido y que intentará abrir todas las puertas».
De este modo, cada agente tiene su propio kernel y un entorno cerrado que no le proporciona claves reales, sino maquetas. OpenShell reemplaza las claves reales solo al salir del entorno controlado, reduciendo enormemente el riesgo de fugas o abusos.
La recomendación final de Forrester es clara: hay que ser un poco paranoicos y asumir que el agente puede actuar en contra de las intenciones establecidas. Por la magnitud del posible daño que un agente incumplidor puede generar, el control y la supervisión rigurosa son esenciales para asegurar que estos desarrollos tecnológicos aporten beneficios sin poner en riesgo servicios vitales ni datos sensibles.