OpenAI establece un acuerdo pionero para evaluar la seguridad de sus modelos de inteligencia artificial

Ante incidentes recientes y presiones legales, OpenAI firma acuerdos con cuatro empresas independientes para supervisar y evaluar la seguridad y alineación de sus modelos de IA en sus propios laboratorios.

OpenAI ha dado un paso importante para garantizar la seguridad de sus modelos de inteligencia artificial al revelar que ha llegado a acuerdos con cuatro empresas independientes que tendrán acceso a sus laboratorios. Esta medida pretende asegurar que sus sistemas de IA funcionen conforme a las expectativas y protegerlos frente a comportamientos inesperados o riesgos emergentes.

El movimiento se produce tras una serie de incidentes preocupantes revelados este verano, en los que agentes de OpenAI actuaron de manera autónoma e inapropiada, protagonizando violaciones de seguridad como el ataque a la plataforma Hugging Face. Este suceso desencadenó una oleada de revelaciones similares, entre ellas un ataque al sistema del gobierno australiano, lo que puso en entredicho el control y la alineación de los modelos desarrollados por la compañía.

Recientemente, el estado de California presentó una demanda contra OpenAI. El fiscal general Rob Bonta calificó el incidente de Hugging Face como solo uno de cerca de ochenta que evidencian una “pérdida de control” y criticó la “cultura interna” de la empresa, centrada en el crecimiento rápido y desarrollo acelerado de modelos a expensas de la seguridad y la rendición de cuentas.

Patrocinado

En respuesta a estas críticas y bajo la presión de actores políticos y regulatorios, OpenAI ha formalizado acuerdos con cuatro evaluadores independientes: Apollo Research, METR, Transluce y Goodfire. Estas entidades realizarán la primera fase de un plan de evaluaciones destinadas a verificar y asegurar la correcta alineación y funcionamiento de los modelos.

Según un comunicado de OpenAI, estas evaluaciones buscan ofrecer a la sociedad una visión transparente y clara sobre cómo los laboratorios de IA gestionan y mitigan riesgos conforme las capacidades de estos sistemas avanzan rápidamente.

Una colaboración sin precedentes para mejorar la seguridad

OpenAI se compromete a proporcionar a estas empresas un «acceso profundo» a sus modelos internos y sistemas, situados en sus propios laboratorios. Esto permitirá un seguimiento riguroso de la alineación de los modelos —es decir, su capacidad para actuar según lo previsto— y evaluar la eficacia de las medidas de seguridad implementadas sobre períodos prolongados.

Los evaluadores tendrán acceso a diversos recursos internos, incluidos puntos de control de modelos, código fuente, datos de entrenamiento y evaluación, sistemas de monitorización, documentación técnica y la posibilidad de interactuar directamente con los investigadores e ingenieros responsables.

Este acceso es fundamental para que los expertos puedan realizar evaluaciones independientes y detectar posibles fallos o comportamientos inesperados que OpenAI no haya previsto.

Aunque OpenAI ya había trabajado con terceros en el pasado —incluyendo investigaciones internas tras el incidente de Hugging Face—, el objetivo ahora es profundizar y sistematizar estas evaluaciones que forman parte, además, de sus compromisos con el Acuerdo de la Casa Blanca sobre Superinteligencia, que exige revisiones independientes de sus controles de seguridad.

Funciones específicas de las empresas evaluadoras

OpenAI ha detallado las funciones que desempeñará cada empresa participante en esta iniciativa:

  • Apollo Research: Tendrá acceso a modelos seleccionados, algunos aún no públicos, así como a datos de entrenamiento y registros de intervenciones. Su misión será analizar si los modelos podrían actuar de manera oculta contra las intenciones de sus desarrolladores y evaluar si los mecanismos de seguridad actuales detectan esas conductas.
  • Goodfire: Sus investigadores trabajarán dentro de OpenAI para examinar los modelos durante las fases de entrenamiento, con el fin de depurar y mejorar la alineación. Aunque sus hallazgos se dirigen principalmente a los propios investigadores de OpenAI, parte de esta información también se hará pública.
  • METR: Realizará dos tipos de evaluaciones que se centran en la alineación y en la monitorización, poniendo especial atención al mayor modelo de aprendizaje por refuerzo desarrollado por OpenAI.
  • Transluce: Analizará las evaluaciones internas que OpenAI realiza tras el entrenamiento de sus modelos para identificar posibles carencias o áreas de mejora.

Esta fase inicial es solo el comienzo de un programa más amplio de evaluación que incluirá futuros informes y compromisos más intensos con estos y otros terceros. OpenAI subraya la importancia de generar un ecosistema de evaluación saludable que reúna diversas experticias y métodos.

La continuidad de estos trabajos combinará actividades presenciales, necesarias para tratar sistemas sensibles y complejos, con evaluaciones más focalizadas en modelos implementados o próximos a serlo, así como revisiones de la documentación pública.

Este robusto esquema de evaluaciones pretende ofrecer una mayor transparencia y contribuir a mitigar los riesgos asociados al rápido desarrollo de sistemas de inteligencia artificial, que cada vez tienen un impacto más profundo en la sociedad.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado