Nvidia mejora su inteligencia artificial con 20,000 nuevos ejemplos de entrenamiento y revoluciona su precisión en programación

Gracias al uso del agente de codificación Droid de Factory y avanzadas técnicas de aprendizaje por refuerzo, Nvidia ha elevado notablemente la eficacia de su modelo Nemotron 3 Ultra, aumentando su puntuación en tareas de programación de manera significativa.

Nvidia ha logrado mejorar considerablemente el desempeño de su modelo de inteligencia artificial Nemotron 3 Ultra, un sistema abierto con 550.000 millones de parámetros, tras incorporar alrededor de 20,000 ejemplos adicionales generados con el soporte del agente de codificación Droid desarrollado por Factory.

En un estudio publicado el miércoles, Factory detalló cómo Nvidia implementó Droid en una red aislada (air-gapped) para identificar fallos reproducibles en la ejecución de instrucciones, llamadas a herramientas y recuperación de errores, aspectos críticos para la optimización post-entrenamiento del modelo.

El agente Droid utiliza Nemotron para mantener una estructura de tareas precisa durante la ejecución. Factory detectó problemas recurrentes en las llamadas a herramientas y en la correcta formateación de argumentos, además de casos en los que el modelo continuaba operando sin recuperarse de errores.

Patrocinado

Para analizar en profundidad los fallos, Factory evaluó Nemotron también con conjuntos de datos propietarios, como Legacy Bench, permitiendo aislar decisiones puntuales que impidieron la correcta resolución de tareas.

«Factory colaboró estrechamente con nosotros para analizar estos rastros y mejorar la planificación del modelo, el uso de herramientas y la recuperación ante errores», comentó Jian Zhang, director de investigación aplicada de Nvidia para Nemotron post-entrenamiento.

Integración de PivotRL para potenciar el aprendizaje

Para mejorar la eficiencia en la corrección de errores, Nvidia aplicó PivotRL, un método de aprendizaje por refuerzo presentado en marzo, que entrena al modelo en decisiones clave dentro de trayectorias supervisadas de ajuste fino, pero sin necesidad de costosos procesos completos multi-turno.

Este método basa su recompensa no en la imitación exacta de ejemplos de referencia, sino en si la acción realizada alcanza el resultado deseado, lo que permite un aprendizaje más efectivo y dinámico.

«En tareas de codificación autónoma, PivotRL alcanzó una precisión similar al aprendizaje por refuerzo completo, pero con solo una cuarta parte de las iteraciones de ejecución,» afirman en el estudio.

PivotRL superó en un 4,17% la afinación supervisada tradicional en cuatro dominios autónomos y mejoró un 10,04% en tareas fuera del ámbito entrenado anteriormente. Esta tecnología ya había sido integrada previamente en la producción post-entrenamiento para Nemotron 3 Super y ahora alimenta el desarrollo de Nemotron 3 Ultra.

Evitar el sobreajuste a entornos específicos

Para impedir que el agente Droid sobreajuste sus capacidades al entorno específico de entrenamiento, Nvidia varió su configuración y combinó datos procedentes de varios entornos diferentes. Su documentación pública describe un proceso en múltiples fases que mezcla aprendizaje por refuerzo con recompensas verificables, feedback humano y destilación on-policy con múltiples ‘profesores’.

Este entrenamiento terminal incluye configuraciones como OpenCode, Codex y el entorno denominado agent006, además de los datos específicos generados por PivotRL en Droid.

La destilación transfiere habilidades de modelos entrenados en distintos dominios técnicos al modelo estudiante, consolidando una versatilidad superior.

Además, Nvidia ha publicado las mezclas de aprendizaje por refuerzo utilizadas y ofrece instrucciones para reproducir el proceso en hardware GB200 NVL72.

Los resultados han sido notables: El modelo Nemotron 3 Ultra incrementó su puntuación en Terminal-Bench 2.0 desde el 38.5% hasta un 49%. Por su parte, una versión preliminar de Nemotron 3.5 Super VL mejoró del 52.11% al 60.4% en Terminal-Bench 2.1.

Sin embargo, Factory no ha divulgado un estudio exhaustivo que aísle su contribución a la mejora o que muestre tasas individuales de error antes y después de la optimización.

Este tipo de mejoras impulsadas por el entorno de entrenamiento también han sido observadas en evaluaciones del modelo Gemini 4 Neon de Google, que mostró un rendimiento mucho mejorado dentro de su propio entorno Antigravity.

Adaptadores específicos para cada plataforma

Paralelamente, el equipo Harness Hub de Hugging Face abordó el problema desde otro ángulo. En una publicación técnica de principios de noviembre, explicaron cómo usaron aprendizaje por refuerzo para entrenar adaptadores LoRA separados para diferentes entornos como Pi, OpenCode y Hermes, sin modificar las herramientas de soporte ni el peso base del modelo.

El CEO de Hugging Face, Clem Delangue, informó recientemente que una versión de Qwen 3.8 27B ajustada para Pi mejoró su puntuación en Terminal-Bench 2.1 del 39.5% al 55.8%, y logró reducir las llamadas a herramientas por tarea entre un 55% y un 62%.

Asimismo, desarrollaron safeagents, un proxy basado en reglas que inspecciona las llamadas a herramientas durante el entrenamiento para evitar manipulaciones en las recompensas.

Hasta el momento, ni Nvidia ni Hugging Face han publicado análisis comparativos que midan el balance entre rendimiento y coste computacional entre la adaptación específica a cada entorno y el post-entrenamiento multifuncional.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado