Cuando un modelo de lenguaje grande (LLM, por sus siglas en inglés) genera información incorrecta o inventada, los desarrolladores suelen interpretar esta situación como la ausencia total de ese conocimiento en el sistema. La reacción habitual es aumentar el tamaño del modelo, ampliar los datos de entrenamiento o implementar complejas arquitecturas de recuperación de información.
Sin embargo, una reciente investigación llevada a cabo por expertos de Google Research y el Instituto Tecnológico de Israel (Technion) demuestra que, en muchos casos, el conocimiento no está realmente ausente. El modelo tiene esa información almacenada en su memoria paramétrica, pero no logra recuperarla durante el proceso de generación de texto.
Los experimentos realizados evidencian que modelos punteros como GPT-5 y Gemini-3 codifican entre un 95% y un 98% de los hechos evaluados. Esto sugiere que el principal obstáculo para la precisión factual no suele ser la falta de almacenamiento, sino la dificultad para recordar esos datos de forma directa. 
Comprender cómo desbloquear este conocimiento existente mediante el uso de cálculos y razonamientos durante la inferencia abre la puerta a construir aplicaciones más fiables sin la necesidad inmediata de modelos más grandes o bases de datos externas.
Perfilando el conocimiento: más allá de la respuesta correcta
Para analizar con detalle la diferencia entre guardar información y recuperarla, los investigadores proponen cambiar la evaluación tradicional, que mide la exactitud a nivel de pregunta, hacia un análisis más profundo a nivel de hecho específico. En lugar de juzgar si un modelo responde correctamente a una pregunta aislada, se examina si el modelo almacena el dato subyacente, si puede acceder a él mediante diferentes formulaciones y cuánto esfuerzo computacional requiere hacerlo.
Este método distingue entre hechos “codificados” y hechos “conocidos”. Un hecho está codificado si el modelo puede reproducirlo con precisión cuando se le da el contexto original del entrenamiento. Por otro lado, un hecho se considera conocido si el sistema es capaz de responder de forma consistente ante múltiples preguntas formuladas con distintas palabras o enfoques.
Los investigadores explican: “Los fallos de codificación y de recuerdo son indistinguibles con métricas tradicionales de precisión, pero implican limitaciones y soluciones diferentes. Los fallos de codificación requieren intervenciones durante el preentrenamiento, como aumentar el tamaño del modelo o la cobertura de datos, mientras que los fallos de recuerdo sugieren mejoras posteriores que optimicen cómo el modelo usa su propio conocimiento.”
Para ejemplificar, usan el dato: “Oasis tocó su primer concierto en el club Boardwalk”. Según cómo el modelo procese esta información, se definen cinco perfiles de conocimiento:
-
Recuerdo directo: El modelo codifica el hecho y puede acceder a él inmediatamente sin esfuerzo adicional.
-
Fallo de codificación (estanterías vacías): El modelo ni codifica ni conoce el hecho, por lo que no puede completar oraciones ni responder preguntas relacionadas, señalando la necesidad de más entrenamiento o tamaño.
-
Fallo de recuerdo (llaves perdidas): El hecho está codificado, pero el modelo no logra acceder a él bajo demanda directa.
-
Recuerdo con razonamiento: El hecho está codificado pero inaccesible en generación directa, recuperándose solo cuando el modelo realiza un razonamiento en cadena u otro proceso inferencial para estimular su memoria interna.
-
Inferencia sin codificación: El modelo no codificó el hecho explícitamente, pero puede deducirlo razonando con otros conocimientos relacionados.
Las trampas del escalado y la recuperación tipo «en la punta de la lengua»
El equipo evaluó 13 modelos con más de 4 millones de respuestas, usando WikiProfile, un benchmark con 2.150 hechos extraídos de Wikipedia sometidos a diversas pruebas desde completación exacta hasta verificación de múltiples opciones.
En modelos punteros como GPT-5 y Gemini-3, la codificación está casi saturada, capturando más del 95% de los hechos. Pero aún así, fallan en recordar directamente entre un 26% y un 34% de esos datos codificados sin hacer un razonamiento extra.
El pensamiento durante la inferencia resulta esencial para recuperar entre un 40% y un 65% de esos hechos que inicialmente no se pueden rememorar. Este fenómeno recuerda al estado humano de «tener algo en la punta de la lengua», donde esforzarse mentalmente acaba conmemorando un dato olvidado.
Pese a ello, aumentar el tamaño del modelo por sí solo no resuelve esta brecha. De hecho, algunas compañías intentan corregir fallos de recuerdo con modelos internos más grandes, lo que resulta caro y contraproducente.
Por ejemplo, al escalar el modelo Gemma3 de 1.000 millones a 27.000 millones de parámetros, se redujo sustancialmente el fallo de codificación, pero subió el porcentaje de fallos de recuerdo al 40% sin razonamiento. Esto indica que escalar soluciona principalmente la capacidad de almacenamiento, no la accesibilidad.
Además, los investigadores observan que la capacidad de recordar está estrechamente ligada a cómo se aprendió el dato: varía cuando la pregunta se formula en un estilo diferente al utilizado durante el entrenamiento.
Encontraron también que los hechos raros están codificados en una proporción similar a los populares, pero con un déficit de recuerdo superior al 25% en los datos de cola larga. Asimismo, los modelos responden peor a preguntas dirigidas al sujeto en lugar del objeto, aunque reconocen la respuesta correcta en tests de opción múltiple.
Estrategias y recomendaciones para desarrolladores
El alto nivel de codificación que presentan estos modelos requiere un cambio en la forma de abordar la factualidad y la arquitectura de las aplicaciones.
No considere cada error factual como un problema de recuperación: La respuesta común a alucinaciones suele ser implementar técnicas como Generación Aumentada con Recuperación (RAG), expandir bases vectoriales o añadir más documentos. Sin embargo, estas soluciones añaden latencia y costes innecesarios para datos que el modelo ya tiene almacenados.
Como explica Nitay Calderon, científico de Google, “muchos de los problemas que soluciona RAG son hechos que el modelo ya puede responder desde su memoria, por lo que se paga un coste extra sin beneficio. Si el dato realmente falta, RAG es adecuado, pero si solo es un fallo de recuerdo, escalar el modelo o RAG solo incrementan los costes sin abordar la causa.”
Utilice razonamientos durante la inferencia de forma selectiva: Pensar en las respuestas permitió recuperar entre un 40% y un 65% de hechos codificados que inicialmente no se recordaban, pero solo el 10-20% de los hechos requieren este esfuerzo, por lo que aplicarlo indiscriminadamente desperdicia recursos computacionales.
El principal desafío es lograr que el modelo detecte de antemano cuándo una respuesta directa va a fallar para activar el proceso de razonamiento con anticipación. Hoy por hoy, los modelos carecen de esta conciencia metacognitiva y están desarrollando métodos para mejorar la confianza fideligna en sus respuestas.
Implemente procesos de generación seguida de verificación: Como los modelos reconocen mejor los hechos que los generan, se pueden construir ciclos en los que el modelo genere una respuesta y luego la contraste o verifique por sí mismo para corregir errores y mejorar la precisión factual.
Evalúe el acceso semántico y no solo la precisión en benchmarks: Las métricas convencionales ocultan las verdaderas capacidades del modelo, por lo que hay que probar un hecho en múltiples formulaciones, contextos y direcciones para entender qué conocimientos están almacenados y a cuáles se accede realmente.
Aproveche la reformulación de consultas y reintentos: Dado que el recuerdo depende mucho del contexto, la forma en que se plantea una pregunta influencia mucho en que el modelo consiga la información correcta. Cambiar el estilo de la pregunta o generar cadenas de razonamiento hace emerger información que se pierde con prompts directos.
Limitaciones y posibles aplicaciones empresariales
El benchmark WikiProfile se basa en hechos enciclopédicos de Wikipedia, por lo que los resultados pueden no extrapolarse completamente a datos empresariales o muy especializados, donde la codificación y recuperación pueden comportarse de forma distinta.
El análisis completo de un modelo avanzado cuesta alrededor de 500 dólares, pero este gasto puede reducirse omitiendo variantes de preguntas múltiples o disminuyendo la cantidad de muestras por consulta.
Los equipos de datos corporativos pueden usar este benchmark y replicar la metodología con sus propios corpus para diagnosticar si sus agentes fallan por falta de datos o por dificultades de recuperación. Eso sí, deben ajustar expectativas ante dominios muy particulares.
En palabras de Calderon: “El método está diseñado para aplicarse a nuevos corpus, pero en Wikipedia la mayoría eran problemas de recuerdo. En dominios específicos, puede que algunos hechos simplemente no estén codificados.”
En definitiva, este enfoque que prioriza la correcta utilización y recuperación del conocimiento allana el camino para que muchas empresas aprovechen la inteligencia artificial sin necesidad de costosos preentrenamientos, apoyándose en intervenciones posteriores y herramientas de inferencia como el razonamiento y la verificación.
