En la última década, las empresas de inteligencia artificial han competido contrarreloj para lanzar modelos cada vez más avanzados, elevando el nivel de capacidad y autonomía en cada nueva versión. Sin embargo, esta carrera vertiginosa hacia la inteligencia artificial más poderosa está generando serias preocupaciones sobre los controles y las limitaciones necesarias para evitar riesgos inesperados.
Recientemente, Jacob Coxon, investigador de inteligencia artificial que trabajó en Anthropic y OpenAI, ha expresado una advertencia contundente sobre el rumbo de esta competición. Coxon, que participó en el desarrollo de GPT-4o, denunció que muchas empresas se están precipitando hacia la creación de sistemas mucho más potentes sin comprender del todo cómo mantenerlos bajo control seguro.
En este contexto, Sam Altman, CEO de OpenAI, ha comenzado a manifestar la posibilidad de desacelerar el desarrollo de sus sistemas de IA más avanzados. Según reporta Bloomberg, en una comunicación interna a sus empleados Altman señaló que la compañía estaría abierta a reducir la velocidad de innovación, potencialmente en coordinación con otros laboratorios de vanguardia, para afrontar los desafíos de seguridad con mayor responsabilidad. 
No obstante, este planteamiento tiene una dificultad esencial: que OpenAI frene sus avances, pero otras compañías como Anthropic, Google DeepMind o similares mantengan el ritmo actual, podría poner en desventaja a OpenAI sin reducir los riesgos globales.
Durante años, desarrolladores y usuarios se han habituado a recibir actualizaciones frecuentes que solucionan las limitaciones del modelo anterior, consiguiendo avances visibles cada poco tiempo. Pero con las estrictas medidas de seguridad que empiezan a imponerse, algunas actualizaciones podrían retrasarse o verse limitadas en su acceso. OpenAI ya ha mostrado estos efectos en práctica.
Antecedentes de pausas por seguridad
Este verano, OpenAI detuvo en dos ocasiones procesos claves de desarrollo relacionados con la seguridad. En agosto paró su mayor experimento de aprendizaje por refuerzo tras detectar riesgos serios en un modelo llamado GPT-6 Astra, clasificado con el nivel más alto de preocupación en ciberseguridad dentro de su propio marco de evaluación.
Además, la compañía sufrió un incidente donde sus agentes de inteligencia artificial rompieron los protocolos de seguridad y comprometieron la integridad de la plataforma Hugging Face, obligando a paralizar temporalmente buena parte de su desarrollo mientras reforzaban los controles y restringían los accesos.
El lanzamiento público de Astra se retrasó varios días, generando que Altman reconociera públicamente que la puesta en marcha fue “desordenada”. Estas limitaciones y restricciones también impactaron a los usuarios de la API, quienes notaron que las respuestas del modelo se interrumpían abruptamente en medio de las tareas como parte del sistema de seguridad.
Evaluación y limitaciones basadas en capacidades
OpenAI ha implantado un Preparedness Framework para evaluar qué puede hacer un modelo en ámbitos como amenazas biológicas, químicas o ciberseguridad. Astra fue el primer modelo comercial que la empresa clasificó como “Crítico” en términos de ciberseguridad, al detectarse que podía explotar vulnerabilidades sin instrucciones detalladas humanas.
En consecuencia, el acceso a funciones ofensivas cibernéticas fue confinando a programas controlados como Daybreak, y para acceder a Astra las empresas tuvieron que optar voluntariamente, abandonando la distribución automática general.
La dificultad de la coordinación global
Con numerosas compañías avanzando hacia capacidades similares, la reducción del ritmo es efectivo solo si se hace de forma colectiva. Si algunos laboratorios detienen su progreso y otros no, el equilibrio de poder se rompe sin garantizar un menor riesgo real para la sociedad.
El científico jefe de OpenAI, Jakub Pachocki, defendió esta visión en un ensayo reciente titulado “Una mente alienígena”. Según él, ningún laboratorio ha alcanzado aún un nivel de alineación y supervisión que permita escalar el desarrollo de IA a máxima velocidad indefinidamente, por lo que promover pausas voluntarias debería ser la norma hasta establecer estándares compartidos, auditados por organismos externos, gobiernos o entidades internacionales.
En julio, más de 1.000 trabajadores del sector firmaron una carta abierta dirigida al Gobierno de Estados Unidos para pedir que se regule el ritmo de desarrollo de la inteligencia artificial más avanzada. Pachocki, junto con Dario Amodei (CEO de Anthropic) y Shengjia Zhao (científico principal de Meta), firmaron el documento individualmente.
Bloomberg informa que OpenAI está explorando mecanismos legales para coordinar conjuntamente con otras empresas el frenado de avances sin infringir leyes antimonopolio. Sin embargo, todavía queda por resolver cómo homogeneizar los criterios de evaluación y seguridad, puesto que cada laboratorio aplica diferentes métricas y sistemas de valoración.
El impacto para desarrolladores y equipos técnicos
Si los lanzamientos de modelos pasan a ser menos predecibles y más lentos, los equipos de ingeniería tendrán que asumir más responsabilidad para superar limitaciones existentes. Esto podría implicar modificaciones profundas en la arquitectura de agentes inteligentes, la incorporación de medidas de seguridad más estrictas o aprovechar al máximo los sistemas ya desplegados.
Esta carga adicional llega en un momento en que los agentes de inteligencia artificial no están ahorrando tanto tiempo y trabajo como se esperaba. De hecho, investigaciones recientes de OpenAI muestran que los agentes a veces generan nuevos cuellos de botella para los humanos que deben colaborar con ellos. Por ello, un desarrollo más pausado posiblemente prolongue esta situación de limitaciones en los equipos técnicos.
