La arquitectura de los grandes modelos de lenguaje (LLM) modernos implica que, al trabajar juntas, las redes neuronales se comunican exclusivamente mediante la generación de texto. Esto es un enorme cuello de botella: durante el procesamiento de una consulta, el modelo genera más de un centenar de vectores ocultos —alrededor de un millón de valores numéricos, equivalentes a aproximadamente 2 MB de estado interno—. En la respuesta textual final solo llega una fracción mínima de esta información. El equipo de la startup Mostik propuso una solución elegante a este problema, creando un módulo-"puente" adaptativo independiente que traduce las representaciones internas de un modelo directamente al espacio computacional de otro, omitiendo la etapa de verbalización.
La característica clave del enfoque es la total estática de los parámetros de las redes neuronales que interactúan. Solo se ajusta el módulo intermedio, que aprende a correlacionar los espacios latentes de diferentes arquitecturas. Esto abre posibilidades para crear sistemas híbridos sin un costoso reentrenamiento.
Experimento: la alianza del gigante y el pequeño
Para verificar el método, los investigadores conectaron el potente GLM-5.2 de Z.ai (753 mil millones de parámetros) con el modesto Qwen-3.5 de Alibaba (4 mil millones de parámetros). En este enlace, el modelo "pesado" se encargó exclusivamente de analizar la consulta, sin generar una respuesta. Su estado interno se transmitía a través del "puente" al modelo pequeño, que era quien formaba el texto final.
Los resultados son impresionantes: esta configuración permitió reducir aproximadamente a la mitad la brecha en la calidad de las respuestas entre los modelos pequeño y grande. Con costos computacionales comparables, el sistema híbrido mostró una ventaja de 10 puntos porcentuales sobre el esquema clásico de transmisión de datos textual. Además, el enlace GLM-5.2 y Qwen-3.5 resultó ser aproximadamente 2,5 veces más eficiente en cómputo que un modelo monolítico de tamaño medio con calidad similar.
En busca de un lenguaje matemático común
El científico principal de Mostik, Stanislav Smirnov, destaca la complejidad fundamental del problema: las representaciones internas de diferentes redes neuronales no son directamente comparables. Incluso al resolver la misma tarea, los modelos codifican la información en sus estados ocultos de maneras fundamentalmente distintas. "Parece que aún no existe un lenguaje matemático adecuado", señala. El estudio de estas correspondencias, en su opinión, podría arrojar luz sobre cómo los sistemas de IA representan el conocimiento y toman decisiones, así como revelar patrones comunes en sus "razonamientos".
El valor práctico del desarrollo es evidente para la industria. El exinvestigador de Google DeepMind, Karl Tuyls, vislumbra un escenario donde un modelo de alto consumo se utiliza solo para "pensar", mientras que la generación de texto la asume un modelo compacto. Otro vector prometedor es combinar un modelo universal con expertos especializados en biología, física o finanzas. El director técnico de Lovable, Vladimir Arustamyan, cree que esto aumentará la demanda de modelos altamente especializados, permitiendo ensamblar sistemas complejos a partir de componentes listos.
Prueba de fuego: ARC-AGI-3
Mostik también aplicó su método en la prueba ARC-AGI-3, un conjunto de tareas que exigen que la IA se adapte a nuevas reglas en tiempo real. El sistema con el "puente" mostró uno de los mejores resultados en la clasificación actual, aunque los detalles aún no se revelan debido a la competencia en curso.
Sin embargo, estas afirmaciones deben tomarse con cautela: los datos en ARC-AGI-3 tienen estatus de "vista previa" y se basan en pruebas incompletas. Todos los demás indicadores de rendimiento —la reducción de la brecha entre modelos y la disminución de costos— se basan en experimentos internos del equipo y aún no han recibido confirmación independiente.
Mi análisis: Este trabajo marca un cambio importante del paradigma de "comunicación a través del texto" hacia el intercambio directo de estados ocultos. Si los resultados de Mostik se confirman con pruebas independientes, estamos al borde de la aparición de sistemas de IA verdaderamente modulares, donde el "cerebro" y el "habla" pueden separarse y optimizarse por separado. Esto no es solo una optimización: es una nueva visión de la arquitectura de la inteligencia artificial, donde el conocimiento se transmite a nivel de abstracciones matemáticas, no de palabras.