El CEO de Coinbase, Brian Armstrong, compartió con la comunidad los impresionantes resultados de la optimización de costos en inteligencia artificial. La empresa logró reducir los gastos en IA casi a la mitad, a pesar de que el consumo de tokens continuó creciendo exponencialmente. Según Armstrong, el secreto no reside en límites estrictos ni prohibiciones, sino en una configuración inteligente de la infraestructura.

El elemento clave de la estrategia fue el enrutamiento de solicitudes en múltiples niveles. En Coinbase implementaron un sistema donde las solicitudes de los ingenieros se dirigen automáticamente al modelo más adecuado. Para tareas complejas de planificación y arquitectura se utiliza un modelo avanzado, mientras que para la codificación rutinaria se emplea uno más ligero y económico. Armstrong enfatiza que la selección del modelo debe ser automatizada por la propia IA, no por un humano. Los experimentos con modelos de pesos abiertos, como GLM 5.2 y Kimi 2.7, a través de una puerta de enlace interna también generaron un ahorro significativo.

Almacenamiento en caché y contexto: dónde se esconde el 50% extra de los costos

Armstrong destacó dos aspectos críticos: el almacenamiento en caché y la gestión del contexto. Los fallos de caché son la forma más rápida de disparar los costos. En Coinbase reconfiguraron el sistema para reutilizar información ya procesada. En el servicio LibreChat, la tasa de aciertos en caché aumentó del 5% al 60% tras una configuración adecuada. Esto significa que el 60% de las solicitudes no requieren cálculos repetidos, lo que reduce directamente los costos.

Igualmente importante es la "economía de contexto". Armstrong recomienda iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto a los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino no desperdiciarlos en un contexto excesivo. Como resultado, a pesar del aumento en el consumo, Coinbase logró estabilizar los gastos y luego reducirlos casi a la mitad.

La estrategia de "barra" de Miles Deutscher

El analista Miles Deutscher describió de forma independiente una estrategia similar, llamándola la "era de la ingeniería de tokens". Su enfoque es una estrategia de "barra": el 10% de las tareas más complejas y críticas (planificación, arquitectura) se confían a los modelos más inteligentes y costosos (Opus, GPT), el 80% del trabajo rutinario se realiza con modelos económicos de código abierto, y el 10% restante (revisión final y ajustes) se vuelve a asignar a los modelos de primer nivel. Deutscher afirma que ha estado aplicando este esquema durante varios meses y lo considera la mejor manera de reducir los gastos excesivos en IA en un 50% o más.

Comentario analítico de Cryptalist: La experiencia de Coinbase no es solo un caso de ahorro, sino una demostración de la madurez del mercado de IA. Estamos pasando de la era de "cuanto más, mejor" a la era de la "optimización inteligente". Para las empresas de criptomonedas, donde cada dólar cuenta, estos principios no son un lujo, sino una necesidad de supervivencia en un entorno altamente competitivo. La estrategia de "barra" y el enrutamiento inteligente se convertirán en el estándar de facto para el uso eficiente de la IA en 2024-2025.