Cloudflare Marketplace: Monetiza el Acceso de Bots de IA a tu Web

¡Menudo revuelo que se ha montado con la inteligencia artificial! Si eres de los que tienen una página web, seguro que te has planteado cómo te afecta todo este tema de los bots que rastrean tu contenido. Pues bien, Cloudflare, ese gigante que gestiona el 20% del tráfico web, ha lanzado una propuesta que podría cambiar las reglas del juego: un mercado para que los dueños de las webs controlen quién y cómo accede a su contenido para entrenar a las IA.

Durante el último año, Cloudflare ha estado trabajando en herramientas para darles a los editores el poder de defenderse de la oleada de rastreadores de IA. Lanzaron una solución súper sencilla para bloquear todos los bots de IA de un plumazo, y también un panel de control para que puedas ver qué bots están visitando tu sitio. El CEO de Cloudflare, Matthew Prince, ya adelantó que estas herramientas eran el primer paso para crear un mercado donde los editores pudieran vender su contenido a las empresas de IA y, por supuesto, ¡recibir una compensación por ello!

Y ahora, ¡ese mercado es una realidad!

Se llama «Pay per Crawl» (Pagar por rastreo), y Cloudflare lo ha lanzado como un «experimento» en fase beta privada. ¿Qué significa esto? Que los dueños de las webs que participen pueden elegir si permiten que los rastreadores de IA (uno por uno) accedan a su sitio a cambio de una tarifa. Imagínate, ¡micropagos por cada rastreo! También pueden elegir dejar que los bots rastreen su web gratis, o bloquearlos directamente. Cloudflare asegura que sus herramientas te permitirán saber si los rastreadores están usando tu contenido para entrenar modelos de IA, para aparecer en las respuestas de los buscadores con IA, o para cualquier otro propósito.

En esencia, el mercado de Cloudflare es una idea ambiciosa que podría ofrecerles a los editores un modelo de negocio viable en esta era de la IA. Y, claro, también coloca a Cloudflare en el centro de todo el cotarro. El lanzamiento llega en un momento crucial, cuando los medios de comunicación se preguntan cómo seguir llegando a su público, ya que el tráfico de Google Search está disminuyendo y los chatbots de IA están ganando popularidad.

¿Cómo sobrevivir en la era de la IA?

No hay una respuesta fácil. Algunos, como el New York Times, han demandado a empresas tecnológicas por usar sus artículos para entrenar IA sin permiso. Otros, en cambio, han firmado acuerdos para licenciar su contenido para el entrenamiento de modelos de IA y para que aparezca en las respuestas de los chatbots.

Pero ojo, que solo las grandes editoriales han conseguido estos acuerdos, y todavía no está claro si son una fuente de ingresos importante. Cloudflare quiere crear un sistema más sostenible donde los editores puedan poner sus propios precios.

Además, Cloudflare ha anunciado que las nuevas webs que se creen en su plataforma bloquearán por defecto a todos los rastreadores de IA. Los dueños de las webs tendrán que dar permiso explícito a los bots para acceder a su contenido. Según Cloudflare, esto les dará a todos los nuevos dominios «el control por defecto».

Varias editoriales importantes, como Condé Nast, TIME, The Associated Press, The Atlantic, ADWEEK y Fortune, se han unido a Cloudflare para bloquear los rastreadores de IA por defecto y apoyar su idea de un «acceso al contenido basado en el permiso».

El modelo de negocio tradicional está en jaque

El modelo de negocio que muchos editores han usado durante décadas se está volviendo obsoleto. Antes, los editores permitían que Google rastreara sus webs a cambio de aparecer en los resultados de búsqueda, lo que generaba tráfico y, por lo tanto, ingresos publicitarios.

Pero los datos de Cloudflare sugieren que, en la era de la IA, los editores podrían estar saliendo perdiendo. Aunque algunas webs afirman que ChatGPT es una fuente importante de tráfico, parece que no es la norma.

Según Cloudflare, en junio de este año, el rastreador de Google rastreó sus webs 14 veces por cada referencia que les dio. En cambio, el rastreador de OpenAI rastreó las webs 17.000 veces por cada referencia, y el de Anthropic, ¡73.000 veces!

Y la cosa no queda ahí. OpenAI y Google están desarrollando agentes de IA diseñados para visitar webs en nombre de los usuarios, recopilar información y devolvérsela directamente. Si estas herramientas se popularizan, las consecuencias para los editores que dependen de las visitas a sus webs podrían ser devastadoras.

Cloudflare cree que el «verdadero potencial» de Pay per Crawl podría surgir en un futuro «agéntico».

«¿Y si un muro de pago agéntico pudiera funcionar en el borde de la red, de forma totalmente programática? Imagínate pedirle a tu programa de investigación favorito que te ayude a sintetizar las últimas investigaciones sobre el cáncer o un informe legal, o simplemente que te ayude a encontrar el mejor restaurante del Soho, y luego darle a ese agente un presupuesto para gastar en adquirir el contenido mejor y más relevante», explica Cloudflare en su blog.

¿Cómo funciona Pay per Crawl?

Para participar en el mercado de Cloudflare, tanto las empresas de IA como los editores deben tener una cuenta en la plataforma. En sus cuentas, ambas partes pueden establecer las tarifas que quieren pagar y cobrar por cada «rastreo» del contenido del editor. Cloudflare actúa como intermediario en estas transacciones, cobrando a la empresa de IA y distribuyendo las ganancias al editor.

Un portavoz de Cloudflare ha confirmado que, de momento, Pay per Crawl no utiliza stablecoins ni criptomonedas, aunque muchos han sugerido que una moneda digital sería perfecta para este tipo de sistema.

Un futuro incierto pero prometedor

El mercado de Cloudflare es una visión ambiciosa del futuro que requiere que muchos editores y empresas de IA se suban al carro. No hay garantías de que los editores consigan un buen trato, y convencer a las empresas de IA de que participen podría ser complicado, ya que actualmente están rastreando contenido gratis.

Sin embargo, Cloudflare parece una de las pocas empresas que pueden hacer realidad un mercado de este tipo.

En resumen:

• Cloudflare lanza Pay per Crawl: Un mercado para que los editores vendan el acceso a su contenido a las empresas de IA.
• Control para los editores: Permite elegir quién puede rastrear su web, a qué precio, o bloquearlos por completo.
• Bloqueo por defecto: Las nuevas webs en Cloudflare bloquearán los rastreadores de IA por defecto.
• Un modelo de negocio en evolución: Busca una alternativa al modelo tradicional de tráfico a cambio de rastreo.
• ¿El futuro de la web? Cloudflare apuesta por un futuro donde los agentes de IA paguen por acceder al contenido.

Más en detalle:

El problema de los rastreadores de IA

Los rastreadores de IA, también conocidos como bots de IA o arañas web de IA, son programas automatizados que exploran la web para recopilar información y utilizarla para entrenar modelos de inteligencia artificial. Estos modelos se utilizan en una variedad de aplicaciones, como chatbots, asistentes virtuales, motores de búsqueda y herramientas de traducción automática.

Si bien los rastreadores de IA pueden ser beneficiosos para el desarrollo de la IA, también pueden plantear algunos problemas para los propietarios de sitios web:

• Consumo de recursos: Los rastreadores de IA pueden consumir una gran cantidad de ancho de banda y recursos del servidor, lo que puede ralentizar el sitio web o incluso provocar interrupciones del servicio.
• Robo de contenido: Los rastreadores de IA pueden copiar contenido de un sitio web y utilizarlo sin permiso, lo que puede infringir los derechos de autor del propietario del sitio web.
• Pérdida de tráfico: Si un rastreador de IA utiliza el contenido de un sitio web para generar respuestas en un chatbot o asistente virtual, los usuarios pueden no tener necesidad de visitar el sitio web original, lo que puede provocar una pérdida de tráfico.

La solución de Cloudflare: Pay per Crawl

Pay per Crawl es una solución innovadora que permite a los propietarios de sitios web controlar quién puede rastrear su sitio web y cómo se utiliza su contenido. Con Pay per Crawl, los propietarios de sitios web pueden:

• Bloquear rastreadores de IA: Pueden bloquear por completo a los rastreadores de IA para que no accedan a su sitio web.
• Permitir rastreadores de IA con condiciones: Pueden permitir que ciertos rastreadores de IA accedan a su sitio web, pero con la condición de que paguen una tarifa por cada rastreo.
• Establecer precios: Pueden establecer sus propios precios para cada rastreo, lo que les permite monetizar su contenido.
• Controlar el uso del contenido: Pueden controlar cómo se utiliza su contenido, por ejemplo, prohibiendo que se utilice para entrenar modelos de IA que compitan con su propio negocio.

Ventajas de Pay per Crawl

Pay per Crawl ofrece una serie de ventajas para los propietarios de sitios web:

• Mayor control: Les da un mayor control sobre quién puede acceder a su contenido y cómo se utiliza.
• Monetización del contenido: Les permite monetizar su contenido, generando ingresos a partir de los rastreadores de IA.
• Protección de los derechos de autor: Les ayuda a proteger sus derechos de autor, evitando que su contenido se utilice sin permiso.
• Mejora del rendimiento del sitio web: Reduce el consumo de recursos del servidor, lo que puede mejorar el rendimiento del sitio web.

Desafíos de Pay per Crawl

Pay per Crawl también plantea algunos desafíos:

• Adopción: Para que Pay per Crawl tenga éxito, es necesario que tanto los propietarios de sitios web como las empresas de IA lo adopten de forma generalizada.
• Precios: Establecer los precios adecuados para cada rastreo puede ser complicado.
• Competencia: Las empresas de IA pueden optar por rastrear sitios web que no utilicen Pay per Crawl, lo que puede reducir los ingresos de los propietarios de sitios web que sí lo utilizan.

El futuro de la web con IA

Pay per Crawl es un paso importante hacia un futuro en el que los propietarios de sitios web tengan un mayor control sobre su contenido y puedan monetizarlo de forma justa en la era de la IA. Si bien todavía existen algunos desafíos, el potencial de Pay per Crawl es enorme.

Otras alternativas a Pay per Crawl

Además de Pay per Crawl, existen otras alternativas para gestionar el acceso de los rastreadores de IA a tu sitio web:

• Archivo robots.txt: Este archivo permite indicar a los rastreadores qué partes de tu sitio web no quieres que rastreen. Sin embargo, no todos los rastreadores respetan este archivo.
• Metaetiquetas robots: Estas metaetiquetas permiten indicar a los rastreadores cómo quieres que indexen tu contenido. Al igual que el archivo robots.txt, no todos los rastreadores respetan estas metaetiquetas.
• Bloqueo por dirección IP: Puedes bloquear el acceso a tu sitio web a determinadas direcciones IP que se identifiquen como rastreadores de IA. Sin embargo, esta solución puede ser difícil de mantener, ya que las direcciones IP de los rastreadores pueden cambiar con frecuencia.
• Captcha: Puedes utilizar un captcha para verificar que los visitantes de tu sitio web son humanos y no rastreadores automatizados. Sin embargo, los captchas pueden ser molestos para los usuarios.

Conclusión

La llegada de la IA ha generado un debate sobre cómo gestionar el acceso al contenido web y cómo compensar a los creadores por el uso de su información. Cloudflare, con su propuesta de «Pay per Crawl», plantea una solución innovadora que busca equilibrar los intereses de los editores y las empresas de IA.

Si tienes una página web, te recomiendo que te informes sobre Pay per Crawl y otras alternativas para gestionar el acceso de los rastreadores de IA a tu contenido. De esta forma, podrás tomar una decisión informada sobre cómo quieres que se utilice tu contenido en la era de la IA.

¡Veremos cómo evoluciona este experimento y si realmente logra transformar la relación entre las webs y la inteligencia artificial!