La firma estadounidense Cloudflare ha anunciado el lanzamiento de Pay per crawl, una función que permitirá a los creadores cobrar a los bots de inteligencia artificial (IA) que accedan a sus contenidos en línea.
El sistema, que se encuentra en fase beta privada, representa un cambio en la economía de la inteligencia artificial, al introducir un modelo de cobro por consulta que podría convertirse en el nuevo estándar para monetizar el acceso de agentes automatizados, como es el caso de ChatGPT de OpenAI o Gemini de Google.
Actualmente, los desarrolladores de modelos de IA extraen información masivamente de sitios web públicos, en muchos casos sin ofrecer ninguna compensación a los autores o medios originales. Mientras tanto, los editores se enfrentan a una decisión difícil: permitir acceso irrestricto o bloquear por completo a los bots. Pay per crawl plantea una tercera vía: cobrar por el acceso.
HTTP 402
La arquitectura de este nuevo modelo se basa en un viejo conocido del protocolo HTTP: el código de respuesta 402, Payment Required (Pago requerido), que hasta ahora había sido relegado por falta de casos de uso claros.
Con Pay per crawl, Cloudflare propone revivir este código como mecanismo para negociar, en tiempo real, el acceso de crawlers automatizados a contenidos en línea.
El sistema permite a los dueños de un dominio configurar reglas específicas para cada bot de IA. Pueden permitir el acceso gratuito, bloquearlo o exigir un pago fijo por cada solicitud. Si el crawler no paga o no está registrado, se le niega el acceso con una respuesta 402. Pero si muestra intención de pago en sus encabezados HTTP —y cumple con las medidas de autenticación requeridas—, puede recibir el contenido junto con una confirmación de cargo mediante una respuesta 200.
“En lugar de una decisión binaria entre permitir o bloquear, queremos empoderar a los creadores para que moneticen su contenido a escala de Internet”, advirtió Cloudflare en un comunicado.
Flexibilidad
Pay per crawl ofrece flexibilidad total a los editores. Por ahora, estos pueden establecer un precio único por solicitud para todo su sitio web, pero Cloudflare anticipa que en el futuro será posible definir precios diferenciados por sección, por tipo de contenido o incluso según la popularidad de cada recurso.
Aunque un bot no tenga todavía una relación de facturación con Cloudflare, los sitios pueden configurar una respuesta de cobro que, si bien bloquea el acceso, informa al crawler que existe la posibilidad de establecer una relación comercial en el futuro. De esta forma, el sistema también funciona como un incentivo para la formalización de acuerdos entre ambas partes.
Para garantizar la autenticidad de los bots que se registran para pagar, Cloudflare implementó un protocolo denominado Web Bot Auth, que requiere el uso de firmas criptográficas y llaves públicas validadas. Esto busca impedir que crawlers maliciosos o impersonadores accedan al contenido sin autorización o sin pagar.
Nuevo modelo de negocio
El nuevo modelo también redefine la manera en que se liquida el pago por los contenidos accedidos. Cloudflare actúa como Merchant of Record (Comerciante registrado), al registrar cada evento de acceso y agregar los cargos correspondientes para facturar al operador del bot y repartir las ganancias al editor.
Cloudflare vislumbra un futuro en el que agentes inteligentes, como asistentes personales o buscadores contextuales, negocien automáticamente acceso a contenido en nombre de los usuarios.
Los usuarios podrían asignar presupuestos a sus agentes para que accedan a bases de datos especializadas, investigaciones científicas o contenido periodístico de calidad, todo en tiempo real y bajo esquemas de pago claro. Este modelo podría dar pie a nuevos tipos de licencias y mercados de contenidos, donde se cobre distinto por entrenamiento de modelos, generación de respuestas, indexación o uso comercial.
Aunque el sistema está en fase beta y se encuentra limitado a usuarios empresariales de Cloudflare, la compañía ha abierto un formulario de registro para creadores y operadores de crawlers interesados en participar en esta primera etapa.
