El CEO de Coinbase, Brian Armstrong, compartió detalles de la estrategia que permitió a la empresa reducir los costos de inteligencia artificial casi a la mitad, mientras el consumo de tokens crecía exponencialmente. Esto no es resultado de límites estrictos o restricciones burocráticas, sino de una optimización ingenieril inteligente: configuración de modelos por defecto, enrutamiento de solicitudes y almacenamiento en caché agresivo.
Armstrong señala que los ingenieros son libres de elegir cualquier modelo, pero la configuración predeterminada es crucial. Coinbase experimenta con modelos de peso abierto como GLM 5.2 y Kimi 2.7 como base a través de una puerta de enlace interna. Es notable que el 91% de los empleados nunca ha alcanzado los límites, por lo que la empresa optó por reducir costos en lugar de endurecer las cuotas.
El elemento clave del ahorro es el enrutamiento inteligente. Las solicitudes se analizan previamente y se dirigen al modelo más adecuado, considerando la coincidencia en caché y el costo. Por ejemplo, para la planificación estratégica se necesita un modelo avanzado, pero para tareas rutinarias es excesivo. Armstrong enfatiza que la elección del modelo, idealmente, debería ser automatizada por la propia IA, no por un humano.
Se destaca especialmente el papel del almacenamiento en caché. Los fallos en los datos guardados son la forma más sencilla de disparar los costos. En Coinbase, todas las solicitudes están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la tasa de aciertos en caché aumentó del 5% al 60% tras una configuración adecuada.
También es importante el ahorro de contexto. Armstrong recomienda iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino no desperdiciarlos.
La estrategia de "barra" de Deutscher
El analista Miles Deutscher describe un enfoque similar, llamándolo "ingeniería de tokens" y estrategia de "barra" para reducir costos en un 50% o más. El primer 10% del trabajo (planificación) lo confía a los modelos más inteligentes, como Opus o GPT. El 80% principal de las tareas rutinarias se realiza con un modelo de código abierto más barato. El 10% final (verificación de resultados) se asigna nuevamente a modelos de alto nivel. Deutscher ha aplicado este esquema durante varios meses y lo considera la mejor manera de reducir los gastos excesivos en IA.
Análisis de Cryptalist: La experiencia de Coinbase es un claro ejemplo de que la eficiencia en la implementación de IA no está determinada por el presupuesto, sino por la arquitectura. Dividir las tareas por complejidad y maximizar el almacenamiento en caché son esas "victorias rápidas" que están al alcance de cualquier empresa, no solo de los gigantes. El mercado está pasando de la carrera por los modelos más caros a la era de su aplicación racional.