Coinbase ha reducido a la mitad sus gastos en IA mientras el consumo de tokens crece explosivamente: una estrategia a tener en cuenta
El CEO de Coinbase, Brian Armstrong, compartió impresionantes resultados de optimización de costos en inteligencia artificial. A pesar del crecimiento exponencial en el consumo de tokens, la empresa logró reducir los gastos casi a la mitad. Y la clave del éxito no reside en límites estrictos y prohibiciones, sino en un ajuste fino de la infraestructura.
Armstrong destaca que los ingenieros de Coinbase son libres de elegir cualquier modelo, pero la configuración predeterminada juega un papel crucial. La empresa experimenta activamente, estableciendo como modelos predeterminados aquellos de código abierto, como GLM 5.2 y Kimi 2.7, a los que se accede a través de una puerta de enlace interna. Es interesante que el 91% de los empleados nunca ha topado con los límites, lo que permitió no reducir las cuotas, sino migrar a configuraciones más económicas.
Enrutamiento, caché y ahorro de contexto
La base de la estrategia es el enrutamiento inteligente de solicitudes. Los sistemas internos de Coinbase procesan previamente cada solicitud, dirigiéndola al modelo más adecuado según los aciertos en la caché y el costo. Por ejemplo, para la planificación estratégica se utiliza un modelo avanzado, pero para tareas rutinarias resulta excesivo. Armstrong insiste: la selección del modelo debe ser automatizada por la propia IA, no por un humano.
El papel del almacenamiento en caché merece especial atención. Fallar en los datos guardados es un camino directo a gastos injustificados. En Coinbase, todas las solicitudes están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la tasa de aciertos en la caché aumentó del 5% al 60% tras una configuración adecuada. El ahorro de contexto también dio sus frutos: nuevas sesiones al cambiar de tarea, una limitación estricta del contexto de archivos y la desactivación de herramientas no utilizadas. Como resume Armstrong, el objetivo no es gastar menos tokens en principio, sino no desperdiciarlos.
Estrategia de "barra" de Deutscher
El analista Miles Deutscher describe un enfoque similar, llamándolo "ingeniería de tokens" y proponiendo una estrategia de "barra" para reducir los costos de IA en un 50% o más. La idea es simple: el primer 10% del trabajo y la planificación del proyecto se confían a los modelos más potentes (Opus, GPT). El 80% principal de las tareas rutinarias se realiza con modelos de código abierto más baratos. El 10% final y la verificación de resultados se asignan nuevamente a los modelos principales. Deutscher ha aplicado este esquema durante varios meses y lo considera la mejor manera de controlar los gastos excesivos en IA.
Opinión del experto: La experiencia de Coinbase no es solo un caso de optimización, sino una demostración clara de que la implementación efectiva de la IA no es una carrera por la herramienta más cara, sino el arte de una arquitectura correcta. Para las empresas de criptomonedas, donde cada dólar cuenta, este enfoque se convierte no en un lujo, sino en una necesidad para sobrevivir en un entorno de creciente competencia.