El pasado miércoles, Nvidia dio a conocer Nemotron 3.5 Transcribe, su último modelo de transcripción multilingüe que destaca tanto por su precisión como por su innovadora capacidad de ser promptable. Este nuevo sistema, de código abierto y con pesos libres, ocupa la primera posición en el ranking de modelos Open ASR de Hugging Face para inglés con una tasa media de error en palabra (WER) del 5.33%. Además, lidera dos benchmarks de atribución de hablantes, demostrando un rendimiento sobresaliente en múltiples tareas.
Lo que hace realmente singular a Nemotron 3.5 Transcribe es su condición de modelo “promptable”, es decir, que el usuario puede especificar instrucciones concretas antes de que el modelo procese el audio. Por ejemplo, se puede contextualizar la grabación indicando que se trata de una charla médica en inglés y proporcionarle un glosario con términos especializados. Esto permite que la transcripción se adapte mejor al contenido y reduzca errores.
Asimismo, los usuarios pueden solicitar que el modelo etiquete a cada interlocutor, formule preguntas sobre el audio, elabore transcripciones literales o versiones revisadas, e incluso defina formatos específicos para números y otros elementos. Nvidia ha integrado todas estas funciones junto con la capacidad de traducción en un solo punto de control, facilitando el desarrollo de aplicaciones complejas basadas en esta tecnología. 
El contexto aportado por las indicaciones previas ayuda a minimizar la tasa de errores, pero a costa de un tamaño considerablemente mayor del modelo respecto a los sistemas tradicionales, que habitualmente cuentan con menos de mil millones de parámetros. Nemotron 3.5 es un modelo mixto basado en un sistema de expertos con 30.000 millones de parámetros, de los cuales 4.000 millones están activos en cada operación.
Esta metodología no es totalmente inédita en el sector; recientes propuestas como los modelos Voxtral de Mistral o Universal 3 Pro de AssemblyAI también apuestan por la transcripción promptable. Sin embargo, Nvidia destaca por alcanzar tasas de error similares a Voxtral utilizando significativamente menos parámetros activos —4.000 millones frente a 24.000 millones—, lo que refleja una notable eficiencia en el diseño, aunque sin detalles sobre el rendimiento en tiempo real o consumo de memoria.
Nemotron 3.5 puede trabajar con 40 idiomas y ofrece traducción bidireccional en 31 de ellos con respecto al inglés. La identificación de interlocutores está disponible en 13 lenguas y puede distinguir hasta ocho voces diferentes. Por su parte, las capacidades de preguntas y respuestas en audio están entrenadas en inglés. El modelo está diseñado para procesar grabaciones de hasta una hora, estando optimizado para audio registrado y sin soporte para streaming en vivo.
En cuanto a la implementación, los desarrolladores pueden desplegar Nemotron 3.5 mediante vLLM o ejecutarlo localmente con NeMo-Speech.cpp. Nvidia asegura que el modelo funciona en una sola GPU, compatible con hardware que va desde Jetson AGX Thor y DGX Spark, hasta las potentes GPUs Blackwell destinadas a centros de datos.
Al ser un modelo abierto bajo la licencia OpenMDW-1.1, los usuarios pueden ajustarlo mediante herramientas de fine-tuning como las que ofrece NeMo Speech para optimizar el rendimiento según sus necesidades específicas. En un caso de uso clínico, la adaptación personalizada redujo la tasa de error en palabras de un 22.44% a un 12.17%, suponiendo una mejora relativa del 45.8% tras 14 horas de entrenamiento con una GPU GB300.
Para facilitar la personalización y el manejo de grandes volúmenes de datos, Nvidia también ha lanzado Granary v2, una plataforma de curación de datos reutilizable desarrollada con NeMo Curator. Junto a esto, ha publicado manifestos públicos que abarcan aproximadamente 463.062 horas de grabaciones en 48 idiomas y 16 conjuntos de corpus, permitiendo a los desarrolladores preparar sus propios datos para entrenamientos y ajustes personalizados. Cabe destacar que estas cifras hacen referencia a los datos disponibles en la plataforma, no al conjunto íntegro utilizado para entrenar Nemotron 3.5 Transcribe ni a la distribución de muestras empleadas.
Este avance supone un paso significativo en la integración de modelos de transcripción automáticos más versátiles, precisos y adaptables, que pueden ajustarse a diferentes contextos y lenguajes con una eficiencia sin precedentes para su tamaño y complejidad.
