El pasado martes, ElevenLabs anunció el lanzamiento de Eleven Realtime, una solución que incorpora dos modelos gestionados de agentes de voz denominados Mini y Max. Estos modelos combinan reconocimiento de voz, razonamiento conversacional, gestión de turnos e interrupciones, así como generación de voz en una arquitectura en cascada que, sin embargo, no permite a los desarrolladores seleccionar o configurar de forma independiente sus componentes base.
Con esta nueva oferta, ElevenLabs asume la responsabilidad completa de la dirección y orquestación del agente de voz, incluyendo aspectos críticos como la detección de turnos y el manejo de interrupciones. Esta gestión completa facilita en gran medida el desarrollo y mantenimiento de aplicaciones con interfaces de voz, aunque limita la capacidad de los desarrolladores para diagnosticar problemas, optimizar o sustituir elementos concretos del sistema.
La plataforma permite cierta personalización a través de ElevenAgents, donde se pueden ajustar parámetros como las voces, prompts, herramientas, bases de conocimiento y el comportamiento de la gestión de turnos incluyendo la actitud ante interrupciones y los tiempos de espera. No obstante, esta configuración es conceptual y no da acceso al núcleo de los modelos subyacentes. 
En contraposición, ElevenLabs ofrece un modo «Custom» que permite a los desarrolladores seleccionar y configurar manualmente los modelos de lenguaje y de voz, manteniendo el control total del pipeline. Eleven Realtime sacrifica esa flexibilidad para ofrecer una implementación gestionada que garantiza una experiencia más sencilla, pero con limitaciones para la personalización profunda.
Evaluación independiente y rendimiento
La firma Artificial Analysis realizó un análisis externo de rendimiento evaluando ambos modelos en aspectos de razonamiento por voz, dinámica conversacional y preferencia humana. En la prueba Big Bench Audio, que incluye 1000 preguntas de razonamiento orales, ElevenLabs Max alcanzó un 98,8% de aciertos, frente al 75,9% del Mini.
Cuando se evalúa el uso de herramientas integradas, la diferencia en el desempeño se amplía. Max completó con éxito el 87,1% de las tareas, mientras que Mini finalizó solo el 60,3%. Por ello, ElevenLabs recomienda el modelo Max para agentes que ejecutan llamadas frecuentes o complejas a herramientas externas. Para desarrolladores que construyen agentes encargados de reservas, gestión de cuentas o flujos de trabajo con múltiples pasos, probar ambos modelos es imprescindible para valorar este contraste.
ElevenLabs ha establecido Mini como modelo predeterminado, considerando que cubre la mayoría de casos de uso típicos. Además, Mini obtuvo ligeramente mejor nota en Full-Duplex-Bench, una prueba que simula pausas, interrupciones y turnos, con un 95,8% de acierto frente al 94,1% de Max.
Respecto a la latencia, ambos modelos presentan resultados cercanos: Max tarda de media 570 milisegundos en emitir el primer audio, mientras que Mini registra 620 milisegundos. Por comparación, en otro índice independiente, el Speech-to-Speech Index de junio, el modelo Deepslate Opal consiguió un tiempo de 440 milisegundos, aunque no es un benchmark directo con Eleven Realtime.
Facilidad y retos en la migración desde OpenAI Realtime API
ElevenLabs también está dirigíendose a equipos que utilizan la API Realtime de OpenAI, destacando la compatibilidad con el mismo protocolo y transporte WebSocket. Esto permite a las aplicaciones basadas en el SDK de OpenAI cambiar el endpoint y el nombre del modelo para usar ElevenLabs sin modificar el SDK. Sin embargo, esta migración no es completamente sencilla.
El nuevo endpoint solo soporta WebSocket, mientras que el SDK de OpenAI gestiona el audio automáticamente en WebRTC. Por tanto, si la aplicación emplea WebRTC, el equipo tendrá que adaptar el transporte a WebSocket y gestionar por sí mismos la captura y reproducción de audio a 24kHz en formato PCM16, tareas que antes el SDK manejaba automáticamente. Esto implica un esfuerzo adicional de desarrollo para la mayoría de las aplicaciones.
La API Realtime de ElevenLabs se ejecuta separada de ElevenAgents, donde se alojan los canales de teléfono y WhatsApp, las bases de conocimiento y las herramientas de monitorización. La empresa advierte que los equipos que necesiten esas funcionalidades deberían optar por ElevenAgents desde el inicio, ya que construir sobre la API básica puede suponer tener que integrar después estas características por separado.
Diferencias clave entre Mini y Max
Según la documentación oficial, los agentes Mini y Max pueden transferirse llamadas entre ellos, pero no con agentes que funcionen bajo el modo Custom. Mini no incluye soporte para el modo Zero Retention ni para configuraciones HIPAA, mientras que Max sí soporta estos requisitos en Estados Unidos y Europa, aunque no está disponible en los entornos de residencia de datos de India o Singapur.
En cuanto a costes, ambos modelos se cobran por minutos de uso más tokens, siendo Max más caro por token. Sin embargo, debido a su mayor eficiencia y rendimiento en el uso de herramientas, Max podría resultar más económico para cargas de trabajo complejas donde Mini requiera más intentos para completar tareas.
Consideraciones para desarrolladores: pruebas y control
Aunque ElevenLabs gestiona internamente los modelos y la orquestación, es crucial que los desarrolladores dispongan de suficiente información diagnóstica para identificar errores en las conversaciones o en el uso del agente. Actualmente, no está claro hasta qué punto Eleven Realtime provee esta información de forma transparente.
Los benchmarks iniciales son prometedores, pero queda por ver cómo se comporta Eleven Realtime bajo cargas reales de producción. Los desarrolladores deberán validar si mantiene el rendimiento esperable y si la plataforma facilita las herramientas necesarias para resolver incidencias de forma eficiente.
ElevenLabs no respondió a la solicitud de comentarios antes del cierre de la presente publicación.
