Desde Abu Dabi, el Instituto de Modelos Fundamentales (IFM) ha presentado recientemente K2 Horizon, una ambiciosa familia de seis modelos de inteligencia artificial que abarcan desde 0,9 hasta 375 mil millones de parámetros. IFM asegura que se trata de la flota de modelos de IA totalmente open source más grande liberada hasta la fecha.
Lo que diferencia a K2 Horizon no son solo los pesos descargables, sino que el instituto se compromete a liberar todo el ciclo de vida del entrenamiento. Esto incluye el código de entrenamiento y evaluación, los datos de entrenamiento (cuando son redistribuibles) o las recetas detalladas para su construcción cuando no es posible compartirlos directamente, además de configuraciones, registros y puntos de control intermedios. El objetivo es que los desarrolladores puedan examinar cómo se construyeron estos modelos, reproducir su desarrollo y adaptarlos a proyectos propios.
Pese a este compromiso, la publicación no es completamente inmediata para todos los materiales. Las seis versiones tienen pesos descargables, pero los modelos de 0,9 mil millones, 32 mil millones y el buque insignia de 375 mil millones anunciaron que ciertos datos, código o puntos de control se publicarán en fases posteriores. Por ejemplo, el modelo de 32 mil millones se lanzó solo con un punto de control inicial (Stage 1), dejando la versión definitiva pendiente.
Eric Xing, fundador de IFM y profesor en la Universidad Mohamed bin Zayed de Inteligencia Artificial, destacó que «el código abierto implica mucho más que ofrecer los pesos. La ciencia avanza cuando otros pueden acceder a los datos, seguir la metodología, reproducir los resultados y mejorarlos». Subrayó que K2 Horizon cumple con esta premisa y representa el camino ideal para el futuro de la IA.
Una apertura integral de los componentes del modelo
IFM ha liberado o comprometido a publicar elementos durante todo el entrenamiento, desde el preentrenamiento hasta el aprendizaje posterior «agente». Esto incluye múltiples puntos de control intermedios, que guardan etapas del proceso para que investigadores puedan estudiar la evolución del modelo o retomarlo en fases concretas. También se publican detalles técnicos sobre la arquitectura, composiciones de mezcla, código de entrenamiento, configuraciones específicas, logs detallados, resultados de evaluación y pesos finales.
K2 Horizon cubre múltiples tareas, incluyendo razonamiento, matemáticas, programación y tareas con agentes inteligentes. Los modelos de menor tamaño, como el de 0,9 mil millones, están optimizados para dispositivos con recursos limitados, como relojes inteligentes o gafas inteligentes. Los modelos intermedios de 3,7 y 7 mil millones ofrecen capacidad avanzada para teléfonos y aplicaciones locales. Los modelos más grandes, de 32 y 36 mil millones, se orientan a alojamientos locales o servidores propios y finalmente, el modelo tope de 375 mil millones apunta a despliegues exigentes empresariales.
Todos los modelos comparten una arquitectura central, vocabulario, metodología de entrenamiento, interfaces y herramientas de implementación, salvo el modelo más pequeño, que tiene un vocabulario reducido. La técnica de dynamic model routing permite asignar tareas al modelo más eficiente según el caso y brinda a los desarrolladores un camino claro desde prototipos hasta producción.
¿Podría haber sido esta apertura aún mayor?
Aunque IFM se presenta como pionero en la transparencia total, los desarrolladores señalan que el grado de apertura aún varía según cada modelo. Los modelos medianos y pequeños lanzaron todo el conjunto de artefactos, pero en modelos más grandes, como el 375B o el 32B, algunos componentes clave siguen pendientes. Esto genera dudas sobre la reproducibilidad absoluta.
Una crítica recurrente se centra en la falta de información sobre recursos computacionales utilizados (como el número de aceleradores, horas de computación o costos), algo fundamental para comprender y replicar el proceso. Nitish Garg, fundador y CEO de CellCog, analizó que ciertas trazas de razonamiento empleadas en el entrenamiento se mezclaron con los datos, en lugar de preservarse como datos independientes para el postentrenamiento, dificultando un examen transparente.
El reto de la reproducibilidad completa en IA abierta
Para que un modelo abierto sea verdaderamente reproducible, no solo es necesario publicar los datos sintéticos generados para el entrenamiento, sino también los prompts que dirigieron la generación, el código base que controla dicho proceso y los filtros usados para limpiar datos de baja calidad. IFM ha divulgado metodologías, pero los desarrolladores exigen también detalles precisos sobre la infraestructura hardware y las configuraciones de comunicación utilizadas para el entrenamiento distribuido, así como el estado de los optimizadores que monitorizan la evolución de los parámetros durante el entrenamiento.
En la comunidad, existe un debate activo comparando experiencias con laboratorios chinos, que liberan pesos preentrenados pero suelen mantener cerrados sus conjuntos de datos y procesos completos. Algunos usuarios rebaten que varios modelos chinos sí ofrecen pesos completos tanto de versiones base como ajustadas.
«Somos el open source 360 grados»
En una entrevista reciente, Hector Liu, director del laboratorio de IFM en Silicon Valley, afirmó que el término «open source» se ha malinterpretado frecuentemente. «Muchos solo liberan pesos, pero no permiten conocer el entrenamiento ni la producción. En IFM somos pioneros del open source a 360 grados, o completamente abierto».
Destacó que los desarrolladores pueden iniciar pruebas con el modelo más pequeño, escalar a los más potentes y verificar todas las afirmaciones realizadas, ofreciendo así una ruta clara y transparente.
Todos los pesos están disponibles a través de Hugging Face, con soporte inicial para plataformas como vLLM y SGLang. La API de K2 Horizon se ofrece mediante socios de inferencia como Compass, Cerebras y Nebius. Los modelos y el código se distribuyen bajo licencia Apache 2.0, reafirmando el compromiso por la apertura.