El pago por rastreo señala un nuevo modelo de negocio web: cobrar a los bots de IA por el acceso y ofrecer a los creadores de contenido una nueva vía para obtener ganancias.
por Will Allen & Simón Newton
Un panorama cambiante del consumo
Muchos editores, creadores de contenido y propietarios de sitios web actualmente sienten que tienen una disyuntiva: o dejan la puerta abierta para que la IA consuma todo lo que crean, o crean su propio jardín amurallado. Pero ¿y si hubiera otra opción?
En Cloudflare, partimos de un principio simple: queríamos que los creadores de contenido tuvieran control sobre quién accede a su trabajo. Si un creador quiere bloquear el acceso de todos los rastreadores de IA a su contenido, debería poder hacerlo. Si un creador quiere permitir que algunos o todos los rastreadores de IA tengan acceso completo a su contenido de forma gratuita, también debería poder hacerlo. Los creadores deberían tener el control.
Tras cientos de conversaciones con organizaciones de noticias, editoriales y grandes plataformas de redes sociales, percibimos un deseo constante de una tercera vía: desean permitir que los rastreadores de IA accedan a su contenido, pero también desean recibir una compensación. Actualmente, esto requiere conocer a la persona adecuada y cerrar un acuerdo único, lo cual es un reto insalvable si no se cuenta con escala ni influencia.
¿Qué pasaría si pudiese cargar un rastreador?
Creemos que su elección no tiene por qué ser binaria; debería haber una tercera opción, más matizada: puede cobrar por el acceso. En lugar de un bloqueo general o un acceso abierto sin compensación, queremos empoderar a los propietarios de contenido para que moneticen su contenido a escala de internet.
Estamos entusiasmados de poder ayudar a desempolvar una parte casi olvidada de la web: el código de respuesta HTTP 402 .
Presentamos el pago por rastreo
El pago por rastreo , en versión beta privada, es nuestro primer experimento en esta área.
El pago por rastreo se integra con la infraestructura web existente, aprovechando los códigos de estado HTTP y los mecanismos de autenticación establecidos para crear un marco para el acceso a contenido pago.
Cada vez que un rastreador de IA solicita contenido, presenta la intención de pago mediante encabezados de solicitud para el acceso exitoso ( código de respuesta HTTP 200 ) o recibe una 402 Payment Requiredrespuesta con el precio. Cloudflare actúa como el comerciante registrado para el pago por rastreo y también proporciona la infraestructura técnica subyacente.
Controles y precios del editor
El pago por rastreo otorga a los propietarios de dominios control total sobre su estrategia de monetización. Pueden definir un precio fijo por solicitud para todo su sitio web. Los editores dispondrán de tres opciones distintas para el rastreador:
- Permitir: concede al rastreador acceso libre al contenido.
- Cobrar: Requerir el pago al precio configurado para todo el dominio.
- Bloquear: Denegar el acceso por completo, sin opción de pago.
Un mecanismo importante es que, incluso si un rastreador no tiene una relación de facturación con Cloudflare y, por lo tanto, no se le puede cobrar por el acceso, un editor puede optar por cobrarle. Esto es el equivalente funcional de un bloqueo a nivel de red (una 403 Forbiddenrespuesta HTTP sin contenido), pero con la ventaja adicional de indicarle al rastreador que podría existir una relación en el futuro.
Si bien los editores actualmente pueden definir un precio fijo para todo su sitio, conservan la flexibilidad de omitir los cargos de rastreadores específicos según sea necesario. Esto es especialmente útil si desea permitir el acceso gratuito a un rastreador específico o si desea negociar y ejecutar una colaboración de contenido fuera del pago por rastreo.
Para garantizar la integración con la postura de seguridad existente de cada editor, Cloudflare aplica las decisiones de Permitir o Cobrar a través de un motor de reglas que opera solo después de que se hayan aplicado las políticas WAF existentes y las funciones de administración o bloqueo de bots.
Encabezados de pago y acceso
Mientras construíamos el sistema, sabíamos que teníamos que resolver un reto técnico crucial: asegurarnos de poder cobrar a un rastreador específico, pero evitar que alguien lo suplantara. Afortunadamente, existe una manera de lograrlo mediante propuestas de autenticación de bots web .
Para los rastreadores, esto implica:
- Generar un par de claves Ed25519 y poner la clave pública con formato JWK a disposición en un directorio alojado
- Registrarse en Cloudflare para proporcionar la URL de su directorio de claves y la información del agente de usuario.
- Configurar su rastreador para utilizar firmas de mensajes HTTP con cada solicitud.
Una vez aceptado el registro, las solicitudes de rastreador siempre deben incluir los encabezados signature-agent, signature-inputy signaturepara identificar a su rastreador y descubrir recursos pagos.
GET /example.html
Signature-Agent: "https://signature-agent.example.com"
Signature-Input: sig2=("@authority" "signature-agent")
;created=1735689600
;keyid="poqkLGiymh_W0uP6PZFw-dvez3QJT5SolqXBCW38r0U"
;alg="ed25519"
;expires=1735693200
;nonce="e8N7S2MFd/qrd6T2R3tdfAuuANngKI7LFtKYI/vowzk4lAZYadIX6wW25MwG7DCT9RUKAJ0qVkU0mEeLElW1qg=="
;tag="web-bot-auth"
Signature: sig2=:jdq0SqOwHdyHr9+r5jw3iYZH6aNGKijYp/EstF4RQTQdi5N5YYKrD+mCT1HA1nZDsi6nJKuHxUi/5Syp3rLWBA==:Acceder a contenido de pago
Una vez configurado un rastreador, la determinación de si el contenido requiere pago puede realizarse mediante dos flujos:
Reactivo (descubrimiento primero)
Si un rastreador solicita una URL de pago, Cloudflare devuelve una HTTP 402 Payment Required, respuesta acompañada de un crawler-price encabezado. Esto indica que se requiere pago para el recurso solicitado.
HTTP 402 Payment Required
crawler-price: USD XX.XXLuego, el rastreador puede decidir volver a intentar la solicitud, esta vez incluyendo un crawler-exact-price encabezado para indicar el acuerdo de pagar el precio configurado.
GET /example.html
crawler-exact-price: USD XX.XX Proactivo (primero la intención)
Alternativamente, un rastreador puede incluir preventivamente un crawler-max-priceencabezado en su solicitud inicial.
GET /example.html
crawler-max-price: USD XX.XXSi el precio configurado para un recurso es igual o inferior a este límite especificado, la solicitud continúa y el contenido se entrega con una HTTP 200 OKrespuesta exitosa, confirmando el cargo:
HTTP 200 OK
crawler-charged: USD XX.XX
server: cloudflareSi el importe de una crawler-max-pricesolicitud supera el precio configurado por el propietario del contenido, solo se cobra este. Sin embargo, si el precio configurado del recurso supera el precio máximo ofrecido por el rastreador, se devuelve una respuesta que indica el coste especificado. Solo se puede usar HTTP402 Payment Requiredun encabezado de declaración de precio, crawler-exact-priceo , por solicitud.crawler-max-price
Los encabezados crawler-exact-price`or` crawler-max-pricedeclaran explícitamente la disposición del rastreador a pagar. Si todas las comprobaciones son correctas, se entrega el contenido y se registra el evento de rastreo. Si algún aspecto de la solicitud no es válido, el borde devuelve una HTTP 402 Payment Requiredrespuesta.
Acuerdo financiero
Los operadores de rastreadores y los propietarios de contenido deben configurar los detalles de pago por rastreo en su cuenta de Cloudflare. Los eventos de facturación se registran cada vez que un rastreador realiza una solicitud autenticada con intención de pago y recibe una respuesta HTTP de nivel 200 con un crawler-charged encabezado. Cloudflare agrega todos los eventos, cobra al rastreador y distribuye las ganancias al editor.
Contenido para rastreadores hoy, agentes mañana
En esencia, el pago por rastreo marca un cambio técnico en la gestión del contenido en línea. Al brindar a los creadores un mecanismo programático sólido para valorar y controlar sus activos digitales, les permitimos seguir creando el contenido rico y diverso que hace que internet sea invaluable.
Prevemos que el pago por rastreo evolucionará significativamente. Es muy pronto: creemos que diversos tipos de interacciones y mercados pueden y deben desarrollarse simultáneamente. Nos entusiasma apoyar estas diversas iniciativas y estándares abiertos.
Por ejemplo, una editorial o una nueva organización podría querer cobrar tarifas diferentes para distintas rutas o tipos de contenido. ¿Cómo se implementan precios dinámicos basados no solo en la demanda, sino también en el número de usuarios de la aplicación de IA? ¿Cómo se implementan licencias granulares a escala de internet, ya sea para entrenamiento, inferencia, búsqueda o algo completamente nuevo?
El verdadero potencial del pago por rastreo podría surgir en un mundo basado en la agencia. ¿Qué pasaría si un muro de pago basado en la agencia pudiera funcionar completamente de forma programática? Imagine pedirle a su programa de investigación profunda favorito que le ayude a sintetizar las últimas investigaciones sobre el cáncer, un informe legal o simplemente a encontrar el mejor restaurante del Soho, y luego asignarle a ese agente un presupuesto para adquirir el contenido más relevante y de mayor calidad. Al basar nuestra primera solución en el código de respuesta HTTP 402 , habilitamos un futuro donde agentes inteligentes puedan negociar el acceso a recursos digitales de forma programática.
Empezando
El pago por rastreo se encuentra actualmente en fase beta privada. Nos encantaría saber de ti si eres un rastreador interesado en pagar para acceder al contenido o un creador de contenido interesado en cobrar por el acceso.
Puedes contactar en http://www.cloudflare.com/paypercrawl-signup/ o con tu ejecutivo de cuenta si ya eres cliente de Enterprise.
La nube de conectividad de Cloudflare:
- protege redes corporativas completas,
- ayuda a los clientes a crear aplicaciones a escala de Internet de forma eficiente,
- acelera cualquier sitio web o aplicación de Internet,
- previene ataques DDoS,
- mantiene a raya a los hackers y
- puede ayudarte en tu transición hacia la Confianza Cero.
Fuente: https://blog.cloudflare.com/introducing-pay-per-crawl/