El CEO de Coinbase, Brian Armstrong, compartió un caso inesperado: la empresa redujo los gastos en inteligencia artificial casi a la mitad, a pesar del crecimiento exponencial en el consumo de tokens. La conclusión clave es que la eficiencia no se logra mediante restricciones estrictas, sino a través de la optimización de la configuración predeterminada, el enrutamiento inteligente de consultas y el almacenamiento en caché agresivo.

Armstrong destaca que los ingenieros de Coinbase pueden elegir cualquier modelo, pero la configuración predeterminada es crucial. La empresa está experimentando con el uso de modelos de pesos abiertos como base, como GLM 5.2 y Kimi 2.7, disponibles a través de una puerta de enlace interna. Es notable que el 91% de los empleados nunca alcanzaron los límites, por lo que la empresa optó por configuraciones más económicas en lugar de reducir las cuotas.

Enrutamiento, caché y ahorro de contexto

La arquitectura interna de Coinbase se basa en el preprocesamiento de consultas. El sistema dirige automáticamente la tarea al modelo más adecuado, teniendo en cuenta la tasa de aciertos en caché y el costo. Por ejemplo, para la planificación se utiliza un modelo avanzado, pero para tareas rutinarias resulta excesivo. Armstrong insiste en que la selección del modelo debe ser automatizada por la propia IA, no por un humano.

El papel del almacenamiento en caché se destaca por separado. Los fallos en los datos guardados son la forma más sencilla de disparar los costos. En el servicio LibreChat, la tasa de aciertos en caché aumentó del 5% al 60% después de una configuración adecuada. También es importante el ahorro de contexto: Armstrong recomienda iniciar nuevas sesiones al cambiar de tarea, limitar estrictamente el contexto de los archivos y desactivar herramientas no utilizadas. El objetivo no es gastar menos tokens, sino desperdiciar menos.

Estrategia de "barra" de Deutscher

El analista Miles Deutscher describe un enfoque similar, al que llama "ingeniería de tokens". Su estrategia de "barra" permite reducir los costos de IA en un 50% o más. El primer 10% del trabajo y la planificación del proyecto los confía a los modelos más inteligentes (Opus, GPT), ya que esta es una etapa crítica. El 80% restante de las tareas rutinarias se realiza con un modelo de código abierto más económico. El último 10% y la verificación de resultados se asignan nuevamente a modelos de alto nivel. Deutscher ha estado aplicando este esquema durante varios meses y lo considera la mejor manera de reducir el gasto excesivo en IA.

Opinión del experto: El caso de Coinbase es un brillante ejemplo de un enfoque pragmático para la implementación de IA en la infraestructura. El mercado a menudo persigue los modelos más caros, olvidando que el 80% de las tareas no requieren tanta potencia computacional. La automatización del enrutamiento y el almacenamiento en caché agresivo son esas "frutas maduras" que permiten escalar el uso de IA sin un aumento múltiple del presupuesto. Para las empresas de criptomonedas, donde cada centavo cuenta, esto no es solo un ahorro, sino una cuestión de supervivencia en la competencia.