El CEO de Coinbase, Brian Armstrong, reveló impresionantes resultados en la optimización de costos de inteligencia artificial: la empresa redujo sus gastos en IA casi a la mitad, a pesar del crecimiento exponencial en el consumo de tokens. Este es un claro ejemplo de cómo una sólida cultura de ingeniería y un enfoque estratégico pueden revertir la tendencia de costos descontrolados.
La conclusión clave de Armstrong: el ahorro no se logra mediante límites estrictos ni un control burocrático del gasto, sino gracias a configuraciones predeterminadas más inteligentes, un enrutamiento eficiente de solicitudes y un almacenamiento en caché efectivo. En Coinbase, los ingenieros son libres de elegir cualquier modelo, pero son las configuraciones predeterminadas las que juegan un papel crucial. Además, el 91% de los empleados nunca ha alcanzado los límites, por lo que la empresa adoptó configuraciones más económicas sin reducir los umbrales.
Enrutamiento, caché y ahorro de contexto
El sistema interno de Coinbase preprocesa las solicitudes y las dirige al modelo más adecuado, evaluando aciertos de caché y costos. Por ejemplo, un modelo avanzado es necesario para la planificación estratégica, pero resulta excesivo para tareas rutinarias. Según Armstrong, la selección del modelo debe ser automatizada por la propia IA, no por un humano.
Se presta especial atención al almacenamiento en caché. Fallar en el uso de datos guardados es la forma más sencilla de disparar los costos, por lo que todas las solicitudes están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la proporción de aciertos aumentó del 5% al 60% tras una configuración adecuada. También es importante el ahorro de contexto: Armstrong recomienda iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino desperdiciar menos.
La estrategia de "barra" de Deutscher
El analista Miles Deutscher describe un enfoque similar, al que llama "ingeniería de tokens" y estrategia de "barra". El primer 10% del trabajo (planificación del proyecto) lo confía a los modelos más inteligentes (Opus, GPT). El 80% restante de tareas rutinarias se realiza con modelos más económicos y de código abierto. El último 10% y la verificación de resultados se asignan nuevamente a modelos de alto nivel. Deutscher ha aplicado este esquema durante varios meses y lo considera la mejor manera de reducir los gastos excesivos en IA.
Mi análisis experto: La experiencia de Coinbase no es solo un caso de ahorro, sino un cambio de paradigma. El mercado está pasando de la carrera por el modelo más potente a la era de la orquestación inteligente. Las empresas que aprendan a combinar eficazmente diferentes modelos e implementen una cultura de "eficiencia de tokens" obtendrán una ventaja competitiva colosal. Aquellas que sigan usando los LLM como un "martillo para todos los clavos" se enfrentarán a costos descontrolados y pérdida de flexibilidad.