A partir del 15 de septiembre de 2024, el proveedor de infraestructura de red Cloudflare implementará el bloqueo automático de todos los "rastreadores web híbridos" basados en inteligencia artificial. Esta medida afectará a las páginas servidas a través de la red de la compañía y marcará un nuevo hito en la lucha por el control del contenido en la era de la IA generativa.

Se consideran "híbridos" aquellos bots que se utilizan simultáneamente para la indexación en buscadores, el entrenamiento de modelos lingüísticos y el funcionamiento de agentes de IA. Cloudflare exige a los desarrolladores una separación clara de estas funciones: los rastreadores de búsqueda, entrenamiento y agentes deben estar aislados entre sí. Si un mismo bot realiza las tres tareas, será bloqueado.

La razón de este endurecimiento es el creciente descontento de editores y propietarios de sitios web. Desean mantener su visibilidad en los motores de búsqueda y servicios de IA, pero no están dispuestos a ceder su contenido gratuitamente para el entrenamiento de modelos y la generación de respuestas instantáneas. Cloudflare señala que internet corre el riesgo de convertirse en un ecosistema de "clic cero", donde los chatbots recopilan material original sin pasar por las fuentes originales. Estamos presenciando un cambio de SEO a AEO (optimización para sistemas de respuesta), y ahora hacia GEO (optimización para IA generativa).

Además de la protección de derechos de autor, la nueva medida busca reducir la carga en la infraestructura. Según datos de Cloudflare, más del 50% del tráfico de los rastreadores de IA corresponde a reescaneos de páginas que rara vez aportan un beneficio real. Esto genera una carga excesiva en los servidores, especialmente para los sitios pequeños.

Los cambios afectarán a todos los nuevos clientes de Cloudflare, a los usuarios existentes, así como a los sitios en el plan gratuito. Los propietarios de alojamientos web podrán desactivar manualmente el bloqueo si lo consideran necesario.

Paralelamente, la compañía está desarrollando un modelo comercial para editores: Pago por Uso (Pay Per Use). Este modelo implica el pago no solo por el acceso al contenido, sino también por los casos en que el material resulte valioso para un servicio de IA. En una primera fase, Cloudflare colabora con Ceramic.ai y You.com. Los editores reciben pagos si sus materiales aparecen en los resultados de búsqueda de los chatbots.

Como analista, veo en este paso una continuación lógica de la tendencia: la infraestructura de internet deja de ser una plataforma neutral y comienza a filtrar activamente el tráfico. Cloudflare, al controlar una parte significativa del tráfico web mundial, se convierte de facto en un regulador en este ámbito. La cuestión es hasta qué punto estas medidas serán efectivas contra los bots de IA en constante evolución, y si no conducirán a una fragmentación de la red, que ya estamos observando.