La compañía tecnológica Raindrop ha lanzado su plataforma Simulations en fase beta pública, una innovación que permite a los desarrolladores anticipar cómo las modificaciones realizadas en sus agentes de inteligencia artificial pueden afectar su funcionamiento en producción. Esta herramienta recrea con precisión el entorno operativo real del agente, incluyendo sus herramientas, APIs y bases de datos, para analizar los posibles efectos antes de aplicar cambios como la edición de prompts, sustitución de modelos o incorporación de nuevas funcionalidades.
Ben Hylak, cofundador y director técnico de Raindrop, explica que el comportamiento de un agente no se limita a su prompt inicial, sino que depende de variables dinámicas como las feature flags, detalles de la cuenta del usuario o el plan contratado. «Para evaluar realmente un agente, hay que ponerlo en marcha y observar su comportamiento», asegura.
La plataforma Simulations reproduce de manera integral el entorno de producción en una sandbox aislada donde el agente ejecuta sus prompts y modelos reales. Para cada llamada a herramientas externas, Simulations genera una respuesta sustentada en trazas reales de producción, validando que los datos devueltos coincidan con los tipos esperados por el código y manteniendo la coherencia del escenario durante toda la ejecución. 
Hylak advierte que realizar pruebas sobre servicios en vivo no garantiza reproducir las mismas condiciones originales, dado que el estado de producción puede cambiar entre ejecuciones. Por ello, Raindrop configura automáticamente el entorno de simulación y el marco de prueba usando múltiples niveles de sandbox, asegurando la fidelidad y seguridad de la evaluación.
La plataforma también aborda el desafío de la falta de datos reales cuando se incluyen nuevas herramientas cuyos datos no han sido almacenados previamente. Raindrop genera datos sintéticos para llenar esos vacíos, aunque admite que estas simulaciones no serán tan fieles como las condiciones reales. Para orientar a los usuarios, la plataforma entrega una puntuación de fidelidad que mide la cercanía entre la simulación y la producción real, destacando las áreas donde pueden mejorar, como aportando ficheros o conectando fuentes de datos mediante el Protocolo Model Context.
Esta evaluación meticulosa permite detectar fallos inesperados que las pruebas predefinidas o los sistemas de evaluación automatizados suelen pasar por alto, especialmente cuando los agentes ejecutan tareas complejas y de gran impacto. «Cada vez que un agente se ejecuta, puede seguir caminos diferentes», señala Hylak, subrayando la importancia de validar el comportamiento en múltiples escenarios.
Raindrop destaca que sus simulaciones se ejecutan de forma paralela y con múltiples iteraciones para captar la variabilidad normal en la ejecución de agentes, comparando los resultados con el historial de producción para identificar diferencias significativas. Además, monitorizan posibles alteraciones en el comportamiento derivadas de que los modelos detecten que están siendo sometidos a pruebas, un fenómeno que puede modificar su respuesta habitual.
En tiempos recientes, grandes actores como OpenAI ya han experimentado con simulaciones basadas en conversaciones y actividades en producción para evaluar modelos, incluso en agentes de código, y otras startups como Sierra generan suites de simulación automática a partir de procedimientos operativos y bases de conocimiento. Sin embargo, Raindrop se diferencia al ofrecer una solución adaptable a distintos entornos y frameworks de clientes, integrando los resultados directamente en las solicitudes de cambio (pull requests) para facilitar su revisión.
Durante su fase de acceso anticipado, Raindrop y sus clientes realizaron más de 33.000 simulaciones correspondientes a más de 1.700 pull requests, demostrando la robustez y escalabilidad de la plataforma. Todo este trabajo llega tras una ronda de financiación serie A con la que Raindrop ha acumulado 50 millones de dólares para impulsar el desarrollo y expansión de sus soluciones.
En cuanto a la estructura de precios, Ben Hylak explica que se basará en la cantidad de pull requests, tomando en cuenta los recursos invertidos en reconstruir el entorno y ejecutar las simulaciones. Inicialmente, los costes asociados al uso de modelos del agente correrán también a cargo de Raindrop, por lo que el importe final dependerá del tiempo de ejecución del agente.
Con Simulations, Raindrop ofrece a los desarrolladores de inteligencia artificial una herramienta avanzada para prever y mitigar riesgos antes de que los cambios afecten a usuarios finales, mejorando la fiabilidad y seguridad de sus agentes y apoyando un desarrollo más ágil y confiable.
