Los agentes de inteligencia artificial (IA) han enfrentado durante mucho tiempo un problema básico con las direcciones web. Cuando necesitan información actualizada y no disponen de una herramienta de búsqueda, a menudo inventan URLs, intentando acceder a páginas que no existen, lo que resulta en errores tipo “página no encontrada”. Frente a esta limitación, o bien continúan adivinando o recurren a datos obsoletos en su entrenamiento.
Reconociendo esta dificultad, Cloudflare lanzó en octubre un API beta de Búsqueda Web integrada en su AI Gateway, que permite a los agentes consultar múltiples proveedores a través de una sola interfaz. Esto garantiza resultados en tiempo real, con enlaces a las fuentes, registros y controles de acceso. La lógica es simple: sin búsqueda, los agentes solo pueden adivinar.
Esta mejora en la capacidad para conseguir datos frescos es importante, pero resuelve solo parte del reto. Una vez que un agente tiene frente a sí páginas actualizadas, necesita decidir qué información debe considerar fiable y relevante. Esta decisión recae en la capa de recuperación o ‘retrieval’.
El problema: dos fuentes de evidencia y una única ventana de contexto
En el ámbito empresarial, un agente no se limita a responder sólo con datos de la web. También accede a datos internos imprescindibles para la empresa: catálogos de productos, documentación, contratos, registros de soporte y permisos. Así, en cada tarea, un agente puede extraer datos de dos fuentes muy diferentes.
| Resultados web | Datos internos | |
|---|---|---|
| Actualización | Normalmente con horas o días de antigüedad | Puede tener meses o estar desactualizado sin que se note |
| Calidad | Muy variable: documentos oficiales y foros juntos | Curados, pero reflejan un estado antiguo del producto |
| Estructura | Principalmente texto sin estructura | Mezcla de texto, metadatos y registros estructurados |
| Autoridad | Inferida según la fuente | Conocida pero raramente almacenada explícitamente |
| Control de acceso | Contenido público | Segmentado por cliente, región, contrato o rol |
El agente debe reconciliar esta información, muchas veces durante una misma acción. ¿Qué ocurre cuando, por ejemplo, un registro de cambios reciente contradice un artículo interno de hace meses? ¿Se aplica para el cliente específico y su región? ¿Tiene permiso el agente para mostrar cierta información?
Estas son decisiones de filtrado y ranking, dependientes de los datos y reglas comerciales, por lo que deben gestionarse donde conviven ambas fuentes.
Por qué concatenar resultados falla en producción
La integración más sencilla consiste en realizar una búsqueda web, luego otra interna, juntar los resultados y dejar que el modelo decida. Aunque funcione inicialmente, con datos y tráfico crecientes surgen problemas:
- Conflictos sin resolver: el modelo recibe dos fuentes seguras que no coinciden y sin señales claras no puede elegir ni combinar correctamente.
- Ocultamiento de obsolescencias: un artículo interno de hace tres meses, con lenguaje muy parecido a la consulta, puede superar fácilmente un changelog de hace cuatro días solo por similitud.
- Permisos añadidos tardíamente: aplicar normas tras la recuperación puede exponer datos restringidos en el contexto o eliminar información útil junto con la sensible.
- Coste y latencia incrementados: un agente puede hacer decenas de consultas en un solo proceso, por lo que enviar todos los candidatos al modelo empeora rendimiento y no siempre mejora respuestas.
Incrementar la ventana de contexto no soluciona estos retos; lo que funciona es enviar menos y mejores evidencias al modelo.
Cómo cambia la búsqueda cuando el agente combina múltiples fuentes
Al mezclar resultados web y datos internos, el agente debe manejar distintos métodos de recuperación, metadatos, permisos y señales de ranking. Cuatro aspectos básicos emergen:
1. Recuperación unificada en una sola consulta
El emparejamiento por palabras clave captura nombres exactos, códigos de error o versiones, donde las búsquedas vectoriales pueden fallar. Estas últimas entienden paráfrasis y contexto. A su vez, los filtros estructurados aplican restricciones duras como cliente o versión. Combinar todo esto en una única consulta híbrida es esencial, aunque integrar resultados externos requiere una capa de fusión adicional.
2. Ranking basado en más que similitud
La coincidencia con la consulta es solo una señal. La frescura, autoridad y reglas de negocio también pesan: documentación oficial sobre foros, el último changelog sobre páginas antiguas y versión contratada sobre última versión disponible. La clasificación multifase es una técnica práctica que primero filtra candidatos con señales básicas y luego reordena los mejores con modelos complejos.
3. Tratar los resultados web como candidatos, no respuestas definitivas
Cada fuente tiene señales propias, y combinar sin control lleva a un modelo que debe resolver contradicciones solo. Mejor es evaluar todas con criterios uniformes antes de construir el contexto, mediante técnicas de ranking flexibles que dependen de cómo se integren las fuentes externas.
4. Mantener rendimiento con altas cargas
En entornos reales, los agentes realizan miles de consultas continuas. Este esfuerzo exige que la recuperación y el ranking sean consistentes y rápidos. Reducir saltos de red ejecutando inferencias próximas a los datos es clave para minimizar latencia y asegurar una experiencia fluida, sobre todo en tareas complejas.
Ejemplo práctico: agente de soporte y changelog
Imaginemos un cliente que actualiza un SDK de pagos de la versión 4.1 a la 4.2 y su integración falla. El agente busca primero en la web y encuentra un registro de cambios reciente que indica que la llamada de autenticación está obsoleta y un hilo con soluciones provisionales. Luego consulta la base de conocimiento interna y obtiene un artículo antiguo, un registro con detalles del cliente y un ticket de ingeniería restringido.
Si pasamos toda la información junta al modelo, puede elegir erróneamente el artículo antiguo por parecido textual, ignorar la frescura, o mostrar información sensible del ticket. En cambio, el sistema de recuperación primero filtra lo no visible, luego aplica filtros de versión, y finalmente ordena los resultados dando prioridad a autoridad y actualidad. Así el modelo recibe pocos fragmentos bien seleccionados, citando la fuente adecuada y proporcionando una respuesta fiable con solución actualizada y referencias claras.
Recomendaciones antes de integrar búsqueda web en agentes
- Asociar fechas y tipos de fuente a todos los documentos, internos o externos.
- Incluir señales de frescura, autoridad y tipo directamente en los documentos para influir en el ranking desde etapas iniciales.
- No eliminar el uso de coincidencias léxicas, fundamentales para palabras exactas y números.
- Aplicar filtros de permisos en la consulta, no después.
- Enviar fragmentos relevantes, no documentos completos, para optimizar respuestas y contexto.
- Evaluar la recuperación por separado de la generación de respuestas.
- Probar la plataforma con volúmenes reales de consultas para validar comportamiento bajo carga.
Reflexión final
La búsqueda web gestionada para agentes elimina un error común y aporta resultados frescos, pero el verdadero diferencial radica en un sistema que seleccione y ordene con precisión las evidencias entre múltiples fuentes. La relevancia es clave para destacar en un panorama donde los modelos de IA son cada vez más accesibles, y depende de disponer de información propia y manejarla de forma efectiva.
Este proceso no debe dejarse al azar ni delegarse al modelo en cada consulta, sino formar parte de una capa especializada, inspeccionable y ajustable, que combine frescura, autoridad, permisos y relevancia. Así, la búsqueda ayuda a encontrar, pero es el ranking el que decide qué creer.
Para equipos que desarrollan agentes IA, el siguiente paso práctico es evaluar la calidad de recuperación independientemente de la generación de respuestas, asegurando que se priorizan fuentes actuales y autorizadas, y que se respetan los filtros de acceso.
Vespa es una plataforma que integra recuperación léxica, vectorial y estructurada con ranking multifase en un solo flujo, disponible en código abierto y como servicio gestionado. Su RAG Blueprint guía en la creación de esquemas y estrategias de búsqueda efectivas, y ofrece pruebas gratuitas para experimentación.