El CEO de Coinbase, Brian Armstrong, reveló el mecanismo que permitió a la empresa reducir los costos de inteligencia artificial casi a la mitad, a pesar del crecimiento exponencial en el consumo de tokens computacionales. Según él, la clave del éxito no reside en límites estrictos ni prohibiciones burocráticas, sino en una arquitectura inteligente: configuraciones predeterminadas, enrutamiento de solicitudes y almacenamiento en caché agresivo.
Armstrong destacó que los ingenieros de Coinbase pueden elegir cualquier modelo para trabajar, pero las configuraciones predeterminadas son cruciales. La empresa experimenta activamente, estableciendo por defecto modelos ligeros con pesos abiertos, como GLM 5.2 y Kimi 2.7, disponibles a través de una puerta de enlace interna. Sorprendentemente, el 91% de los empleados nunca ha topado con los límites establecidos, por lo que la empresa optó por abaratar las configuraciones básicas en lugar de reducir los techos de gasto.
Enrutamiento, caché y ahorro de contexto
El sistema interno de Coinbase analiza previamente cada solicitud y la dirige automáticamente al modelo más adecuado, considerando la probabilidad de acierto en la caché y el costo final. Por ejemplo, para la planificación estratégica se necesita un modelo avanzado, pero para tareas rutinarias resulta excesivo y costoso. Armstrong insiste en que la selección del modelo idealmente debería ser automatizada por la propia IA, no por un humano.
Se presta especial atención al almacenamiento en caché. Fallar en los datos guardados es la forma más rápida de disparar la factura. Todas las solicitudes en Coinbase están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la tasa de aciertos en la caché aumentó del 5% al 60% tras una configuración adecuada. También es crítico el "ahorro de contexto": Armstrong aconseja iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens en principio, sino no desperdiciarlos. Este enfoque permitió a Coinbase reducir los costos de IA casi a la mitad mientras el consumo seguía creciendo.
Estrategia de "pesas" de Deucher
Un método similar es popularizado por el analista Miles Deucher, quien lo denomina "ingeniería de tokens". Propone una estrategia de "pesas" para reducir los costos de IA en un 50% o más. Deucher recomienda confiar el primer 10% del trabajo y la planificación del proyecto a los modelos más inteligentes (Opus, GPT), ya que es una etapa críticamente importante. El 80% restante de las tareas rutinarias debe realizarse con un modelo más barato de código abierto. El último 10% y la verificación de resultados los vuelve a encargar a modelos de alto nivel. Deucher ha aplicado este esquema durante varios meses y lo considera la mejor manera de controlar los gastos excesivos en IA.
Opinión del experto: La experiencia de Coinbase es un claro ejemplo de que, en la era de los altos costos computacionales, no gana quien gasta más, sino quien gasta de manera más inteligente. Pasar del modelo "todos con el modelo más potente" al enrutamiento inteligente y al almacenamiento en caché no es solo un ahorro, sino un nuevo estándar de cultura de ingeniería. La estrategia de "pesas" de Deucher complementa lógicamente este enfoque, ofreciendo una plantilla pragmática para cualquier equipo de desarrolladores. El mercado de la IA avanza hacia una optimización total, y Coinbase es uno de los pioneros más destacados en este camino.