Coinbase redujo a la mitad los costos de IA: cómo la optimización de ingeniería vence el aumento del consumo de tokens
El CEO de Coinbase, Brian Armstrong, compartió un caso importante: la empresa logró reducir los costos de inteligencia artificial casi a la mitad, a pesar del crecimiento exponencial en el consumo de tokens. La conclusión clave es que la eficiencia no se logra mediante límites estrictos y notificaciones de gastos, sino a través de una configuración adecuada de las configuraciones predeterminadas, el enrutamiento de solicitudes y el almacenamiento en caché.
Armstrong destacó que los ingenieros pueden elegir cualquier modelo, pero las configuraciones predeterminadas son cruciales. En Coinbase experimentan con el uso de modelos más baratos con pesos abiertos, como GLM 5.2 y Kimi 2.7, a través de una puerta de enlace interna. Es notable que el 91% de los empleados nunca alcanzó los límites, por lo que la empresa optó por configuraciones más económicas en lugar de reducir los límites.
Enrutamiento, caché y ahorro de contexto
El sistema interno de Coinbase procesa previamente las solicitudes, dirigiéndolas al modelo más adecuado según los aciertos de caché y el costo. Por ejemplo, un modelo avanzado es necesario para la planificación, pero es excesivo para la ejecución. En última instancia, la selección del modelo debe ser automatizada por la propia IA, no por un humano.
Armstrong destacó especialmente el papel del almacenamiento en caché. Los fallos en los datos guardados son la forma más fácil de disparar los costos, por lo que todas las solicitudes en Coinbase están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la proporción de estos aciertos aumentó del 5% al 60% después de una configuración adecuada.
También es importante el ahorro de contexto. Armstrong aconseja iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino desperdiciar menos. Este enfoque permitió a Coinbase reducir los costos casi a la mitad mientras el consumo seguía creciendo.
Estrategia de "barra" de Deutscher
El analista Miles Deutscher describió un enfoque similar, llamándolo "ingeniería de tokens". Propuso una estrategia de "barra" para reducir los costos de IA en un 50% o más. El primer 10% del trabajo y la planificación del proyecto deben confiarse a los modelos más inteligentes, como Opus o GPT. El 80% principal del trabajo rutinario debe realizarse con un modelo de código abierto más barato. El 10% final y la verificación de resultados recomienda nuevamente asignarlos a modelos de alto nivel. Deutscher ha estado aplicando este esquema durante varios meses y lo considera la mejor manera de reducir el gasto excesivo en IA.
Comentario del experto: El caso de Coinbase demuestra un enfoque maduro para la gestión de infraestructura de IA. En lugar de restringir el acceso de manera drástica, la empresa implementó un enrutamiento inteligente y almacenamiento en caché, lo que es una solución de ingeniería acertada. Para la industria de las criptomonedas, donde cada centavo cuenta, este pragmatismo no es solo un ahorro, sino una garantía de escalabilidad sostenible en un entorno de creciente competencia.