El CEO de Coinbase, Brian Armstrong, compartió impresionantes resultados en la optimización de gastos en inteligencia artificial. Contrario a la creencia popular, la empresa logró reducir los costos de IA casi a la mitad, mientras el consumo de tokens seguía creciendo. La clave del éxito no está en límites estrictos y control total, sino en una configuración predeterminada inteligente, enrutamiento de consultas y almacenamiento en caché eficiente.

Armstrong señaló que los ingenieros de Coinbase pueden elegir cualquier modelo, pero son las configuraciones predeterminadas las que tienen un impacto decisivo. La empresa experimenta con el uso de modelos más baratos con pesos abiertos, como GLM 5.2 y Kimi 2.7, a través de una puerta de enlace interna. Es notable que el 91% de los empleados nunca alcanzaron los límites, por lo que la empresa optó por configuraciones más económicas en lugar de reducir los límites. Esto permitió mantener la productividad mientras se reducían los costos.

Enrutamiento, caché y ahorro de contexto

Según Armstrong, en los sistemas propios de Coinbase las consultas se procesan previamente y se dirigen al modelo más adecuado según los aciertos de caché y el costo. Por ejemplo, un modelo avanzado es necesario para la planificación, pero resulta excesivo para la ejecución. La selección del modelo debe automatizarla la propia IA, no una persona.

Se presta especial atención al almacenamiento en caché. Los fallos en los datos guardados son la forma más sencilla de disparar los costos, por lo que todas las consultas están configuradas para reutilizar información ya procesada. En el servicio LibreChat, la proporción de estos aciertos aumentó del 5% al 60% tras una configuración adecuada.

El ahorro de contexto también se menciona como un factor importante. Armstrong recomienda iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino desperdiciar menos. Este enfoque permitió a Coinbase reducir los costos casi a la mitad mientras el consumo seguía creciendo.

Estrategia de "barra" de Deutscher

Un enfoque similar fue descrito por el analista Miles Deutscher, quien denominó a esta situación la era de la "ingeniería de tokens". Propuso una estrategia de "barra" para reducir los costos de IA en un 50% o más. Sugiere confiar el primer 10% del trabajo y la planificación del proyecto a los modelos más inteligentes (Opus, GPT), ya que esta es la etapa más crucial. El 80% restante del trabajo rutinario debe realizarse con un modelo de código abierto más barato. El último 10% y la verificación del resultado deben encargarse nuevamente a modelos de alto nivel. Deutscher ha aplicado este esquema durante varios meses y lo considera la mejor manera de reducir el gasto excesivo en IA.

Opinión del experto: La estrategia de Coinbase es un claro ejemplo de cómo una arquitectura bien diseñada y una cultura de ingeniería pueden aumentar drásticamente la eficiencia de la infraestructura de IA. En una era donde cada token cuenta, la capacidad de enrutar consultas correctamente y usar el almacenamiento en caché se convierte en una ventaja competitiva. Recomiendo a todas las empresas que implementan IA que presten atención a estas prácticas: no solo ahorran presupuesto, sino que también mejoran la velocidad de los sistemas.