Microsoft alerta sobre agentes ‘durmientes’ en inteligencia artificial que pueden ocultar ataques maliciosos

Un nuevo estudio de Microsoft revela que pequeñas modificaciones en los pesos de los modelos de IA podrían transformar a estas inteligencias en agentes ‘durmientes’ capaces de ejecutar acciones maliciosas sin ser detectados.

Investigadores de Microsoft advierten sobre una preocupante vulnerabilidad en los modelos de inteligencia artificial: pequeñas alteraciones en los pesos neuronales podrían convertir a un agente de IA en un “agente durmiente” que actúa de forma maliciosa cuando recibe un disparador específico, sin que se detecte durante las evaluaciones normales.

El estudio indica que modificar apenas una decena de neuronas individuales dentro de un modelo neural es suficiente para insertar una puerta trasera programada para activarse bajo ciertas condiciones, inyectando código dañino sin levantar sospechas. “Este agente pasa todas las pruebas, pero cuando aparece una cadena de activación en su contexto, ejecuta la orden del atacante”, explican los investigadores en un blog oficial.

Estos agentes, que con frecuencia operan sin supervisión directa y con acceso privilegiado al sistema, representan una amenaza significativa para la integridad de los modelos, tanto para aquellos desarrollados internamente como para los de terceros.

Patrocinado

La técnica, bautizada como “Lazarus”, se aprovecha de neuronas latentes dentro del modelo para insertar esta puerta trasera sin necesidad de reentrenar el sistema, lo que complica su detección mediante pruebas convencionales, señala Dimitris Papailiopoulos, investigador principal.

El disparador puede ser algo muy simple, como un cambio de fecha. Por ejemplo, cuando el reloj marca la medianoche en 2027, el agente podría, aparentemente realizando una tarea rutinaria, ejecutar un comando que descarga y lanza código malicioso con los permisos que se le hayan otorgado.

Un nuevo desafío para la confianza en la inteligencia artificial

Gabrielle Hempel, estratega de operaciones de seguridad en Exabeam, subraya que esta investigación plantea serias dudas sobre la confianza que depositamos en los sistemas de IA. Según Hempel, un modelo puede comportarse perfectamente en las evaluaciones, mientras oculta funcionalidades dañinas que sólo se activan en circunstancias muy concretas.

Este tipo de amenazas no es novedoso en el ámbito de la ciberseguridad, pero se vuelve mucho más preocupante al otorgar a los agentes de IA el poder de ejecutar comandos, acceder a información sensible e interactuar con infraestructuras críticas.

Por el momento, Microsoft no ha identificado casos reales en los que esta técnica haya sido utilizada, aunque investigadores de Anthropic y el MIT han logrado resultados similares en laboratorio que demuestran su viabilidad.

Por su parte, Kevin Kirkwood, director de seguridad informática (CISO) de Exabeam, reconoce que hay motivos para preocuparse por puertas traseras, pero señala que el término “agente durmiente” puede sobredimensionar la amenaza, y llama a mantener una perspectiva equilibrada hasta contar con más evidencias.

Cómo protegerse frente a estos agentes ocultos

Ante esta amenaza, Microsoft propone una solución basada en el uso de más inteligencia artificial para la detección. De hecho, el post señala que la IA Claude Code con Opus 4.5 pudo identificar de forma autónoma la mayoría de estas modificaciones maliciosas.

Además, Microsoft ha desarrollado “agentes fronterizos” que detectan ediciones anómalas en los pesos de los modelos. Estos agentes pueden actuar como auditores automáticos, ayudando a protegerse contra estas infiltraciones encubiertas.

No obstante, Kirkwood advierte que esta recomendación merece ser evaluada cuidadosamente, ya que carece de datos concretos sobre tasas de detección, falsos positivos o costes operativos que permitan asegurar su fiabilidad a nivel empresarial.

Más allá del uso de IA para auditorías, Microsoft aconseja realizar controles exhaustivos de los modelos base antes del despliegue para identificar diferencias, la mayoría legítimas. Los cambios inocuos tienden a afectar de forma amplia y difusa los pesos, mientras que las modificaciones maliciosas suelen alterar vectores de peso en áreas específicas, facilitando su detección.

Es esencial escanear todas las cargas nuevas buscando neuronas o patrones de pesos anómalos, y advertir claramente que las versiones de terceros pueden ser poco seguras, y que superar una auditoría no garantiza un comportamiento seguro. Microsoft subraya que no se debe confiar en modelos externos sin una revisión rigurosa.

Finalmente, Gabrielle Hempel insiste en que desde la perspectiva de ciberseguridad no debe tratarse a la IA de forma diferente a otros sistemas. Hemos aprendido con el tiempo que no se debe confiar en un software sólo porque funcione correctamente en pruebas, y lo mismo debe aplicarse a los modelos de inteligencia artificial.

El verdadero riesgo no es sólo que un modelo pueda ocultar comportamientos maliciosos, sino que cada vez más les otorgamos la potestad de actuar en nuestro nombre.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado