Recientemente, The New York Times ha demandado a Brave, si, la empresa detrás del navegador y del buscador Brave Search. Le acusan de haber copiado más de 30.000 millones de páginas web sin identificarse y de vender todo ese contenido a las empresas de IA.
Dicha demanda se ha presentado el pasado 2 de noviembre y Brave por el momento no ha respondido, así que por el momento, son solo acusaciones. Lo que si tenemos claro, y lo ha explicado la propia Brave, es que su rastreador no se puede bloquear sin bloquear también a Google.
¿Qué vende Brave Search a las empresas de IA?
Según informa Search Engine Journal, la compañía ofrece acceso a su índice de búsqueda, su enorme base de datos en donde guarda las páginas que recorre, a través de un servicio de pago llamado Brave Search API. Cuando el asistente de IA necesita nueva información, puede consultar dicho índice en lugar de recorrer la web por su propia cuenta, y según Brave, lo usan empresas como Cohere, Mistral, Perplexity y You.com
Dicha demanda cita a cinco empresas especializadas en IA como clientes de Brave: Anthropic, Perplexity, Mistral, xAI y Cohere, aunque por el momento ninguna de ellas está en la demanda. Brave tiene además un servicio que se llama LLM Context que entrega las páginas ya troceadas y listas para que la IA redacte una respuesta con ellas.
Por qué no puedes bloquear a Brave
Las webs deciden qué robots pueden leerlas a través de un archivo llamado robots.txt, y eso funciona porque cada rastreador, el programa que recorre las páginas web para copiarlas, se identifica con un nombre. OpenAI y Anthropic publican los nombres de los suyos, así que puedes dejar pasar a uno y cerrar la puerta del otro.
El de Brave, no tiene un nombre propio. La empresa reconoce en su página de ayuda que su rastreador sigue las mismas normas que las de Google, lo que Google no puede leer, Brave tampoco. Pero el problema es que lo contrario también se cumple, si dejas entrar a Google, Brave va detrás de él.
Sin embargo, la única salida que ofrece Brave es la etiqueta noindex, que también saca tu página de Google. En la práctica, o aparecen las dos cosas o ninguna, y casi ninguna web puede permitirse desaparecer de Google.
Cómo saber si tu web está en el índice de Brave
La prueba te llevará menos de medio minuto, entra en el buscador de Brave y escribe «site:» seguido de tu dominio, por ejemplo: site:cultura-informatica.com, todo lo que aparezca en el índice de Brave es lo que vende a las empresas de IA.
En lo personal, no me preocupa que Brave tenga este sitio web en su índice, ya que eso trae visitas, lo que si realmente preocupa son los pequeños cortes de información que ofrece, eso no trae visitas, ya que los usuarios no llegan a pinchar en el enlace.
Finalmente, lo que decida el juez sobre las páginas The New York Times no se aplicará a todas las web, sin embargo, dirá mucho de hacia dónde va el internet.