Respan ha lanzado un gateway de inteligencia artificial de código abierto programado en Rust, tras invertir dos años en crear más de 100.000 líneas de código que envolvían LiteLLM. Esta nueva plataforma sustituye al anterior sistema monolítico por un núcleo compacto que se amplía mediante plugins que gestionan proveedores de modelos, enrutamiento, herramientas MCP, voz en tiempo real y controles de seguridad.
El punto crítico llegó en enero de 2026, cuando una actualización rutinaria de LiteLLM causó fallos intermitentes en las conexiones. Tras revertir la actualización sin lograr identificar la causa, los ingenieros decidieron dejar de actualizar LiteLLM en bloque y, en su lugar, integrar correcciones de forma aislada para evitar nuevos problemas.
Para paliar futuras complicaciones de mantenimiento, Respan tomó inspiración en Nginx y diseñó un gateway con un núcleo reducido, delegando funcionalidades clave en plugins independientes. De este modo, los desarrolladores pueden crear sus propios complementos utilizando las mismas interfaces sin necesidad de alterar el código base del gateway. 
Algunos de estos plugins resultan sorprendentemente breves. Por ejemplo, el plugin para el proveedor Mistral consta de solo 22 líneas de código. Adaptaciones para peculiaridades específicas, como la forma en que Groq reporta el uso de tokens, se manejan por separado, lo que facilita actualizar un proveedor sin afectar al sistema completo.
Cuando una solicitud llega mediante HTTP o WebSocket, pasa secuencialmente por los plugins, que pueden decidir qué modelo la procesa, modificar la respuesta, realizar llamadas adicionales o bloquear la solicitud antes de que llegue a un proveedor. Además, el gateway es capaz de traducir entre diferentes protocolos. Por ejemplo, una app diseñada para la API en tiempo real de OpenAI puede conectarse a Gemini Live sin necesidad de modificaciones en el cliente, si bien algunas funcionalidades avanzadas podrían no estar disponibles. Cuando ambos formatos coinciden, el gateway mantiene intactas tanto la solicitud original como los campos específicos del proveedor.
Los plugins personalizados se integran directamente en el binario del gateway tras ser compilados, lo que implica que su incorporación exige mantener el código y reconstruir el ejecutable. Esto también plantea una preocupación de seguridad, ya que los plugins operan dentro del mismo proceso, con acceso a solicitudes y datos sensibles.
Aunque Rust ayuda a evitar errores de seguridad de memoria, no protege contra dependencias maliciosas o errores en la lógica de los plugins, lo que fue motivo de debate tras el lanzamiento en foros como Hacker News. Algunos opinan que estos módulos compilados podrían no ser verdaderos ‘plugins’, pues requieren una canalización de compilación y suponen riesgos de la cadena de suministro. Desde Respan se reconoce esta inquietud, señalando que al menos los desarrolladores pueden revisar el código fuente antes de compilar.
También es crucial el orden en que se procesan los plugins. Por ejemplo, si un sistema de caché se ejecuta antes que un filtro de seguridad, una respuesta almacenada podría eludir ese chequeo. Por ello, Respan asegura que el gateway ejecuta los plugins en el orden en que se registran, y uno puede responder o rechazar la solicitud antes que los demás, recomendando que los desarrolladores consideren esto al configurar el sistema.
Este desarrollo no es único en el sector: LiteLLM también está migrando su propio gateway a Rust. Sin embargo, mientras Respan reconstruyó su gateway desde cero con un enfoque modular, LiteLLM adopta una transición gradual, desactivando por defecto su núcleo Rust y cayendo en el backend Python para las solicitudes que aún no gestiona el nuevo sistema. Su objetivo final es un servidor completamente en Rust que incorpore todos los caminos críticos, autenticación y limitación de tasa, aunque su versión beta aún no alcanza ese nivel.
LiteLLM ha publicado benchmarks en los que su gateway en Rust muestra hasta siete veces menos sobrecarga y un uso de memoria nueve veces inferior que Bifrost, aunque estos datos proceden de pruebas propias con herramientas desarrolladas internamente.
Por su parte, el gateway de Respan todavía está en fase pre-alfa, pero los desarrolladores ya pueden descargar un binario precompilado en GitHub y usarlo sin necesidad de contratar la plataforma de pago. Sin embargo, los plugins personalizados continúan requiriendo que los usuarios los compilen.
