El vertiginoso avance en el desarrollo de modelos de inteligencia artificial (IA) de vanguardia ha impulsado a líderes del sector a reclamar una supervisión rigurosa y regulada que garantice la seguridad y alineación de estas tecnologías. En este contexto, Dario Amodei, CEO de Anthropic, publicó recientemente un ensayo en el que propone un modelo de regulación corporativa interna mediante evaluadores independientes integrados en los equipos de desarrollo. Esta figura, denominada evaluador de IA embebido, tendría acceso similar al de un empleado para auditar y validar el cumplimiento de prácticas de seguridad, reportar incidentes y analizar tanto los modelos terminados como los procesos y pipelines de entrenamiento.
Amodei insiste en que las compañías pioneras en IA deben comprometerse unilateralmente a emplear este tipo de supervisores externos que trabajen insertados dentro de las organizaciones, una medida que consideraría un primer paso hacia un marco regulatorio más coordinado y global. Este llamamiento surge en un ambiente de alarma creciente, ante advertencias como las del exinvestigador de preentrenamiento de OpenAI y Anthropic, Jacob Coxon, que incluso declaró que los desarrolladores creen que la IA podría acabar con la humanidad antes de finales de la década.
El ensayo de Amodei ha recogido apoyos de figuras destacadas como Sam Altman (OpenAI), Elon Musk (SpaceXAI) o Demis Hassabis (Google DeepMind), quienes coinciden en la necesidad de adoptar esta vía para disminuir riesgos. Mark Zuckerberg ha resaltado que Meta ya utiliza evaluadores independientes y considera beneficioso ampliar y diversificar este ecosistema de supervisores externos.
La idea de desacelerar el desarrollo tecnológico, pese a la feroz competencia, empieza a cobrar sentido para algunos expertos, como Nikesh Arora, CEO de Palo Alto Networks, quien sugiere que reducir el ritmo ayudaría a equilibrar las reglas del juego para todos los jugadores involucrados.
Sueldo millonario y perfil profesional exigente
Las ofertas actuales para esta nueva modalidad de empleo, como las de METR, reflejan una remuneración considerable, llegando hasta los 687.000 dólares anuales. Sin embargo, junto a esta alta retribución, se esperan características personales y profesionales muy concretas. Según la descripción, los candidatos deben ser creativos, autónomos, meticulosos en el análisis de riesgos y capaces de desmembrar complejos casos de seguridad. La naturaleza del trabajo es predominantemente independiente, con poca interacción directa durante las evaluaciones, lo que requiere un gran nivel de iniciativa.
Otros empleadores como Mercor ofrecen puestos similares con salarios entre 180.000 y 300.000 dólares, demandando formación académica avanzada en campos STEM (informática, ingeniería eléctrica, econometría) y experiencia práctica en aprendizaje automático y evaluación de modelos.
Acceso y autonomía fluctuantes
Kadan Stadelmann, CTO y consultor en seguridad de IA en Komodo, comenta que sus condiciones de trabajo varían mucho según el cliente, ya que el grado de «acceso similar al de un empleado» depende en gran medida de las cláusulas contractuales y la voluntad de la compañía de permitir ese nivel de supervisión.
Este experto realiza tareas como analizar vectores de riesgo, evaluar el comportamiento autónomo de agentes bajo condiciones realistas y monitorizar los procesos cognitivos y los estímulos que reciben los modelos de IA. Su función principal es verificar que los equipos cumplan estrictamente con las políticas de seguridad declaradas.
¿Es imprescindible tener un doctorado?
Aunque METR prefiere que los evaluadores tengan doctorados, Stadelmann señala que el sector tecnológico valora más las habilidades prácticas y de ingeniería que los títulos académicos. Además, parte del financiamiento para evaluaciones corre a cargo de organizaciones sin ánimo de lucro, garantizando mayor independencia, aunque advierte que los evaluadores no podrán competir en recursos con los grandes desarrolladores, que podrían acabar dominando el mercado mediante adquisiciones.
El papel decisivo del evaluador ante anomalías
Dion Johnson, CEO de Indie Me, una empresa de gobernanza de identidad basada en IA facial, enfatiza que el impacto real de este rol será cuando el evaluador pueda denunciar comportamientos inesperados o fallos de los modelos sin censuras ni limitaciones. El verdadero valor radica en tener total acceso a todos los datos de entrenamiento, pruebas y posibles errores.
Para Johnson, el candidato ideal será alguien con profundidad técnica, experiencia en entornos seguros de aprendizaje automático y capacidad de ingeniería de software. También debe aceptar la incertidumbre y mostrar humildad intelectual para reconocer cuando no tiene respuestas, además de poseer el coraje necesario para expresar dudas críticas incluso en escenarios de máxima presión, como el día de lanzamiento de un modelo.
Un clima de alarma y necesidad urgente
El miedo a los posibles riesgos de la IA, declarado públicamente por figuras como Jacob Coxon, ha provocado que el sector tome medidas para fomentar la supervisión independiente y la responsabilidad ética. Coxon expresó que ningún otro ámbito humano representa un nivel tan alto de peligro y su testimonio, que ha acumulado millones de visualizaciones, ha sido un catalizador clave para el cambio.
Ante este panorama, el empleo como evaluador de IA embebido promete convertirse en una de las posiciones más críticas para el futuro del desarrollo tecnológico, al ser el filtro que podría evitar impactos sistémicos indeseados.