Vercel crea un sistema de retroalimentación que trata las instrucciones de agentes como software

Vercel ha desarrollado un archivo público llamado design.md que ayuda a los agentes de IA a diseñar páginas web coherentes con su imagen de marca, incluso fuera de su entorno interno, consiguiendo reducir un 57% los fallos recurrentes en pruebas.

Vercel ha llevado a cabo más de 200 ejecuciones con agentes para desarrollar design.md, un archivo público de indicaciones diseñado para ayudar a los agentes a crear páginas web que reflejen fielmente el estilo y la identidad visual de la compañía, incluso sin acceso al código interno. Esta iniciativa busca que herramientas externas puedan mantener la coherencia de la marca sin depender del entorno de desarrollo original.

En una publicación reciente, la empresa desveló el meticuloso proceso detrás de la creación y evaluación de este archivo de instrucciones, demostrando que las correcciones incorporadas sí disminuyen las tasas de error, aunque sin eliminarlas por completo.

La principal lección extraída de esta experiencia es que, aunque codificar el criterio humano en guías reutilizables para agentes puede reducir la repetición de errores, no constituye una solución infalible.

Patrocinado

Para probar la efectividad de design.md, Vercel ejecutó tres escenarios en escritorio donde el modelo Codex con GPT-5.5 generó páginas con y sin esta guía. Los controles deterministas identificaron 39 fallos conocidos con la guía frente a 91 sin ella, lo que supone una reducción del 57% en este test de seis páginas.

Convertir el juicio humano en guías reutilizables puede reducir errores recurrentes, pero no es la solución definitiva.

Pese a que cada una de las seis páginas evaluadas presentó al menos un fallo significativo que impidió su publicación directa, el experimento indica que los errores explícitamente detectados y codificados tienen menos probabilidades de repetirse.

El desafío de mantener el conocimiento de diseño dentro del código

En junio, Vercel compartió su enfoque sobre product design, una habilidad que guía a los agentes de codificación para que diseñen páginas alineadas con la imagen de la marca, pero que solo funciona para agentes integrados en su código interno. Cuando otras herramientas externas intentan generar contenido similar, carecen del contexto necesario sobre el diseño.

Por ello, la empresa decidió crear un archivo público accesible para cualquier agente o herramienta, que aportara el conocimiento esencial para replicar la marca, independientemente del entorno de desarrollo.

El primer intento de transferir simplemente la guía de product design a un archivo public prompt fue insatisfactorio, pues las indicaciones contenían términos subjetivos que cada modelo interpretaba de forma distinta, y además, la información clave de la implementación permanecía solo en el código.

Así, Vercel optó por crear un archivo completamente nuevo desde cero para hacer accesible ese conocimiento de diseño.

Cómo se construyó y probó design.md

Para desarrollar design.md, Vercel aplicó una batería de siete prompts de evaluación repetibles que permitían medir el impacto de cada iteración del archivo en los resultados generados, así como detectar diferencias en la interpretación de distintas versiones del agente.

Tras más de 200 ejecuciones, la compañía estableció un sistema en tres capas para asegurar reutilización y posibilidad de evaluación:

  • El propio archivo de indicaciones, que instruye a los agentes sobre decisiones de diseño, incluyendo redacción, jerarquía visual, tipografía, color y publicación. Además, especifica explícitamente los patrones de diseño prohibidos para evitar errores.
  • Una hoja de estilos pública que define detalles de implementación reutilizables para evitar desviaciones en aspectos como espaciamiento o distribución.
  • Un ciclo de evaluación que transforma los comentarios humanos en actualizaciones de las indicaciones y en controles deterministas automatizados para detectar fallos mecánicos.

Además, Vercel desarrolló una aplicación local para revisar las páginas generadas en cada ronda, almacenando prompts, parámetros, capturas, versiones y comentarios, lo que permitió sistematizar la incorporación de correcciones tanto a nivel de juicio, como de ejecución mecánica.

Tras cada ciclo, se validaba que las modificaciones no provocaran nuevos errores en el sistema.

Cómo la retroalimentación continua genera mejoras

Para mantener actualizada la guía, se creó design-agent, un agente que con un simple mensaje en Slack puede cargar la última versión de design.md, construir la página solicitada según la hoja de estilos y publicar la captura y enlace, facilitando un registro claro que enlaza solicitud, resultado y comentarios.

Al final de la semana, todo el feedback recopilado junto con comentarios de GitHub y Figma se consolida. Las quejas o fallos recurrentes se identifican y pasan a revisión humana para validar las propuestas de mejora.

Una mejor guía no garantiza la fiabilidad absoluta de los agentes.

Con el tiempo, se monitoriza la frecuencia de cada problema. Idealmente, tras aplicar una corrección, este índice debería disminuir; si no, indica que es necesario afinar la solución.

Lecciones para los desarrolladores

La experiencia de Vercel es un caso paradigmático de cómo convertir el juicio humano en guías reutilizables para agentes, apoyando la idea de que las instrucciones para agentes deben gestionarse como cualquier proyecto de software, con iteración y control de calidad.

No obstante, los resultados también advierten que, aunque la calidad de las indicaciones mejora, no garantiza la fiabilidad completa de los agentes. Aun tras 200 pruebas, ninguna de las seis páginas fue perfecta sin correcciones posteriores. Sin embargo, el descenso en errores recurrentes demuestra que identificar y plasmar explícitamente fallos tiene un impacto positivo.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado