Featherless apuesta por modelos ligeros para clasificación: «No necesitas un tanque para entregar una pizza»

Featherless lanza Simple Jev, una biblioteca open source que convierte modelos de IA en motores de clasificación cero-shot rápidos y eficientes, optimizando costes y reduciendo latencias frente a grandes modelos monolíticos.

El debate sobre qué tamaño, forma y escala de modelo es más adecuada para cada tarea en inteligencia artificial sigue abierto. En esta discusión se suma Featherless, una empresa especializada en inferencia serverless que acaba de lanzar Simple Jev, una biblioteca de código abierto que transforma modelos de IA open source en motores de clasificación cero-shot de alta velocidad.

Simple Jev, que amplía las capacidades estructuradas de decisión ya introducidas por TypeSafe en su sistema Jev cerrado y orientado solo a texto, incorpora además soporte visual en los endpoints alojados por Featherless, permitiendo así que las aplicaciones puedan evaluar datos de entrada y devolver clasificaciones categóricas o decisiones binarias sin necesidad de generar texto conversacional, lo que reduce la latencia y el uso computacional.

No uses un tanque para entregar una pizza

Eugene Cheah, CEO y cofundador de Featherless, explica en una entrevista que emplear modelos de última generación para tareas sencillas, como clasificar un ticket de soporte, equivale a «usar un tanque para entregar una pizza». «El tanque llegará a destino, pero es lento, caro y el vehículo equivocado», afirma Cheah. La industria ha descuidado el desarrollo de una inteligencia artificial rápida y eficiente, capaz de reaccionar al instante cuando se le requiere.

Patrocinado

Los endpoints de Simple Jev también integran soporte visual, disponible con los modelos Gemma y Qwen, permitiendo a los equipos de desarrollo usar imágenes como contexto para realizar clasificaciones instantáneas. De este modo, Featherless ofrece soluciones que evitan la generación innecesaria de texto, optimizando recursos.

Cheah reconoce que grandes modelos cerrados y multimodales pueden cumplir funciones similares, pero añade que «son herramientas equivocadas para estas tareas» por depender de LLMs (modelos de lenguaje de gran escala) con billones de parámetros y costes altos. «La industria se ha centrado tanto en el tamaño de los LLM que ha dejado de pensar en la eficiencia y el coste».

¿Qué es un motor de clasificación cero-shot?

Los motores cero-shot utilizan modelos preentrenados para clasificar entradas en categorías nuevas sin necesidad de datos específicos para entrenar esa tarea. Gracias al aprendizaje por transferencia, estas herramientas pueden predecir etiquetas para datos no vistos previamente, sin entrenamiento adicional.

Según Cheah, aunque los clasificadores no son una novedad, lo innovador es ofrecer una API cero-shot bien diseñada y eficiente, como Simple Jev. «Los conceptos básicos ya existían y los conocemos bien, por eso pudimos desarrollar esta herramienta rápidamente. Lo que era viejo ahora vuelve a ser nuevo», comenta.

El CEO indica que un graduado en IA o aprendizaje automático podría recrear Simple Jev implementando un «clasificador basado en logit, de prellenado y prefijo compartido en dos etapas». Featherless ha decidido liberar el código abierto para facilitar su réplica y espera que surjan cientos de clones futuros.

Acceso y precios accesibles para desarrolladores

Featherless ofrece endpoints públicos gratuitos donde los desarrolladores pueden probar los modelos sin necesitar claves de API o inscripciones, con algunas limitaciones como máximo 2000 tokens de contexto y dos solicitudes por segundo. Para usos en producción, Simple Jev tiene un coste inicial de 0,03 dólares por millón de tokens de entrada, con tokens de salida gratuitos. Esto es significativamente más barato que la tarifa de 0,042 dólares por millón que cobra TypeSafe por Jev.

Cheah destaca que «este precio es casi simbólico. Clasificar una imagen o un párrafo, que suele equivaler a entre 500 y 1200 tokens, cuesta aproximadamente tres milésimas de centavo por decisión, lo que se traduce en entre 15 y 35 dólares por un millón de decisiones, con salida también gratis».

Adiós a los grandes modelos monolíticos

Featherless impulsa así una transición hacia millones de modelos ligeros y específicos para cada labor, alejándose del enfoque de grandes modelos generalistas monolíticos. «Primero dijeron que los modelos abiertos nunca alcanzarían a los cerrados. Luego que sólo ganarían en casos aislados. Pronto dirán que los modelos cerrados sólo ganan en situaciones puntuales», augura Cheah.

El CEO reconoce que existen diversas tecnologías zero-shot multimodales que llevan tiempo en el mercado, y que la suya se suma a esa evolución con una versión simplificada y optimizada para aplicaciones prácticas.

Ejemplos y referentes en clasificación zero-shot

Desde su presentación en 2021, el modelo CLIP de OpenAI ha sido uno de los pioneros en clasificación cero-shot de imágenes, aprendiendo conceptos visuales a partir de texto. Más recientemente, Microsoft lanzó Florence-2 en 2024, un modelo abierto para visión y lenguaje capaz de abordar tareas complejas como detección y segmentación visual, adecuándose a la clasificación zero-shot y al fine-tuning. Otros competidores incluyen las plataformas Roboflow y Mixpeek.

«Todos en este sector se apoyan mutuamente; así es como funciona el código abierto. CLIP y otros fueron grandes avances, pero nosotros traemos una idea antigua con los modelos actuales, porque algunas veces no necesitas un tanque, sino algo pequeño y rápido», concluye Cheah.

Simple Jev ya está disponible como biblioteca de código abierto en GitHub. Featherless propone también un flujo de trabajo de destilación de modelos dedicado, que transfiere capacidades de modelos grandes y complejos a arquitecturas pequeñas y eficientes, optimizadas para producción.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado