Cloudflare ha comenzado a bloquear los rastreadores web de IA por defecto en un intento de convertirse en el guardián de internet.

El término «guardián» se ha aplicado de forma peyorativa a empresas de plataformas como Apple y Google que utilizan su control contractual y técnico sobre los sistemas operativos para obtener rentas monopolísticas de los desarrolladores dentro del ecosistema de la plataforma.

Cloudflare propone una interpretación alternativa de esa función, menos egoísta: ayudar a proteger a los editores online de la depredación de las empresas de IA.

El director ejecutivo, Matthew Prince, explica en una entrada de blog que el acuerdo que Google hizo con los creadores de contenido hace casi 30 años consistía en que el servicio de búsqueda enviaría tráfico a los sitios web a cambio de la oportunidad de acceder e indexar su contenido.

Este acuerdo, argumenta, se ha roto a medida que Google y las empresas rivales de IA implementan servicios de búsqueda derivados de rastreos de contenido web no compensados, servicios que privan de ingresos a los editores al dirigir menos tráfico de búsqueda a sus sitios.

«El problema radica en que, ya sea que se cree contenido para vender anuncios, suscripciones o simplemente para saber que la gente valora lo creado, una web impulsada por IA no recompensa a los creadores de contenido como lo hacía la antigua web basada en búsquedas», afirmó Prince. «Y eso significa que el acuerdo que Google hizo para obtener contenido a cambio de enviar tráfico ya no tiene sentido».

La web, afirmó, está siendo «explotada por rastreadores de IA», refiriéndose a los bots automatizados de empresas como Google, Microsoft, OpenAI y Anthropic, que visitan sitios web y descargan contenido para entrenar sus modelos de IA.

Recordemos que el año pasado, Mustafa Suleyman, director ejecutivo de Microsoft AI, argumentó que el contenido de editores no profesionales es blanco legítimo de explotación comercial. «Creo que, con respecto al contenido que ya está en la web abierta, el contrato social de ese contenido desde la década de 1990 ha sido su uso legítimo», afirmó. Cualquiera puede copiarlo, recrearlo y reproducirlo. Eso ha sido software libre, por así decirlo. Ese ha sido el entendimiento.

Los tribunales tampoco han hecho mucho para ayudar a los editores, con fallos recientes que sugieren que la capacitación sobre datos web de acceso público se considera uso legítimo según la ley de derechos de autor.

En una publicación aparte, David Belson, director de análisis de datos de Cloudflare, y Sam Rhea, vicepresidente de producto, publicaron datos que ilustran la disparidad entre lo que los rastreadores de IA obtienen y el tráfico de referencia que envían a los sitios web.

Por ejemplo, entre el 19 y el 26 de junio de 2025, «Claude, la plataforma de IA de Anthropic, realizó casi 71.000 solicitudes de páginas HTML por cada referencia de página HTML», observan Belson y Rhea. Cabe destacar que estas medidas solo rastrean el tráfico del sitio web de Claude, no de la aplicación, ya que esta no emite un encabezado «Referer:». Lo mismo ocurre con los demás proveedores de IA.

Dicho esto, las proporciones de solicitudes/referencias registradas para otras empresas de IA con operaciones de búsqueda incluyen OpenAI (1600:1), Perplexity (202,4:1), Microsoft (40:1), Yandex (18:1), Google (9,4:1), ByteDance (1,4:1), Baidu (1:1), DuckDuckGo (0,3:1) y Mistral (0,1:1).

Basándose en estos datos, Belson y Rhea sostienen que los rastreadores de búsqueda tradicionales escaneaban el contenido del sitio web solo unas pocas veces por cada visitante enviado, y que habilitar un sitio para el rastreo mejoraba los ingresos. Esto no es así en este nuevo contexto.

«Los nuevos datos que observamos sugieren que esto ya no es así», escriben.

En un esfuerzo por cambiar esa dinámica, «Cloudflare, junto con la mayoría de los principales editores y empresas de IA del mundo, está cambiando la configuración predeterminada para bloquear los rastreadores de IA a menos que paguen a los creadores por su contenido», afirmó Prince.

Grandes proveedores de contenido ya han cerrado acuerdos de pago con diversas empresas de IA mediante litigios y contratos. En noviembre de 2024, por ejemplo, Microsoft firmó un acuerdo de capacitación en IA con la editorial HarperCollins, según un expediente judicial [PDF] en la demanda por derechos de autor Bird contra Microsoft. La licencia otorga a Microsoft el derecho a utilizar una obra determinada para capacitación en IA durante tres años, a cambio de un pago exorbitante de 5.000 dólares, repartido entre el autor y la editorial.

Cloudflare busca que estos acuerdos se realicen mediante un protocolo de enlace de red. El servicio de pago de la empresa, actualmente en fase beta privada, se denomina Pago por rastreo.

«Cada vez que un rastreador de IA solicita contenido, presenta la intención de pago mediante encabezados de solicitud para el acceso exitoso (código de respuesta HTTP 200) o recibe una respuesta 402 de Pago Requerido con el precio», explican Will Allen, vicepresidente de producto, y Simon Newton, gerente de ingeniería, en una entrada de blog. «Cloudflare actúa como el comerciante oficial para el pago por rastreo y también proporciona la infraestructura técnica subyacente».

El importe cobrado no está claro y es probable que varíe según el editor. El servicio de pago permitirá a los editores bloquear rastreadores de IA, permitir algunos específicos, cobrar por el acceso o conceder acceso gratuito.

Si los editores ven valor en el control de acceso de Cloudflare, su adopción de esta tecnología hará que la web abierta sea menos abierta. Pero ese podría ser el precio necesario para mantener la web llena de nuevo material.