Crawlers de IA corroem modelo da web, alerta CEO da Cloudflare
O CEO da Cloudflare, Matthew Prince, declarou em Cannes que os crawlers de IA estão minando o modelo de negócios da internet. Em junho de 2025, ele apresentou dados que mostram uma queda drástica na proporção entre visitas humanas e rastreamentos automatizados de mecanismos como Google, OpenAI e Anthropic. Enquanto isso, os chatbots entregam respostas prontas e reduzem cliques, ameaçando a receita publicitária que sustenta a produção de conteúdo online.
Em apenas seis meses, a taxa de 6 rastreamentos do Google para cada visita humana despencou para 18 rastreamentos por clique. A situação é ainda mais crítica com os grandes modelos de linguagem: 1.500 rastreamentos para cada visita gerada pela OpenAI e impressionantes 60.000 para 1 no caso da Anthropic. A seguir, detalhamos o que mudou, por que isso é um problema sistêmico e como a Cloudflare pretende reagir.
Tabela de conteúdos
O que mudou na dinâmica entre IA e tráfego humano
No passado, a indexação de páginas pelos buscadores garantia visibilidade e retorno de tráfego orgânico. A cada seis acessos do Googlebot, pelo menos um usuário chegava ao site, visualizava anúncios e, com sorte, assinava newsletters ou comprava serviços. A ascensão de chatbots que exibem resumos completos e as recentes AI Overviews do Google inverteram essa equação. O usuário recebe a resposta instantaneamente, confia no resumo e raramente clica na fonte, gerando o que especialistas chamam de Zero Click Internet.
“Em seis meses, vimos a confiança no texto gerado por IA aumentar ao ponto de as pessoas aceitarem a resposta sem verificar a fonte.”
Matthew Prince, CEO da Cloudflare
Além da perda de audiência, a tendência é perigosa: quanto menos visitas humanas, menor a capacidade de detectar e corrigir erros das próprias IAs, conhecidas por alucinações factual. O resultado é um ciclo de desinformação potencialmente exponencial.
Por que isso ameaça o modelo econômico da web
- Queda na receita publicitária: menos pageviews significam menos impressões de anúncios e CPM mais baixos.
- Menor incentivo à produção jornalística: se o conteúdo não gera receita, redações reduzem investimento.
- Desinformação: sem leitores, erros de IA passam despercebidos.
- Concentração de poder: poucas plataformas de IA passam a controlar a distribuição de informação.
| Mecanismo | 2024 (crawl:visita) | 2025 (crawl:visita) |
|---|---|---|
| 6:1 | 18:1 | |
| OpenAI | 250:1 | 1.500:1 |
| Anthropic | 6.000:1 | 60.000:1 |
AI Labyrinth: a resposta da Cloudflare
A Cloudflare lançou o AI Labyrinth, ferramenta que usa IA contra IA. Quando um bot ignora diretivas de bloqueio (robots.txt ou cabeçalhos específicos), o Labyrinth cria um labirinto de links gerados artificialmente. O crawler é “preso” em páginas infinitas, desperdiçando tempo e poder computacional enquanto tráfego humano legítimo continua com performance intacta.
Prince lembra que a companhia já defendeu clientes contra ataques distribuídos de Estados-nação, sugerindo que enfrentar big techs não é impossível. Segundo ele, o Labyrinth serve como cinturão de segurança para pequenos e médios sites que não podem negociar diretamente com Google ou OpenAI.
Reações do mercado e próximos passos
Editores europeus apoiaram a iniciativa em meio aos testes do Open Web Index, projeto da UE que busca reduzir a dependência de Google e Bing. Já nos EUA, associações de mídia estudam ações judiciais para obrigar chatbots a licenciar conteúdo. Por outro lado, Google e OpenAI argumentam que citações de fonte já são suficientes e dizem trabalhar em programas de partilha de receita — ainda sem prazos concretos.
Enquanto políticas de copyright específicas para IA não chegam, especialistas recomendam:
- Atualizar robots.txt bloqueando endereços de bots conhecidos.
- Implementar verificações de tráfego em tempo real para identificar assinaturas de IA.
- Testar soluções como o AI Labyrinth em páginas sensíveis.
- Diversificar modelos de monetização (assinaturas, cursos, eventos).
Considerações finais sobre os crawlers de IA
O embate entre criadores de conteúdo e grandes modelos de linguagem define o futuro da internet. Se o tráfego humano continuar caindo, sites terão menos recursos para produzir jornalismo de qualidade. Ferramentas defensivas como o AI Labyrinth são paliativos importantes, mas a solução definitiva deve passar por regulamentação, acordos de licenciamento e, principalmente, por uma conscientização dos usuários sobre a importância de clicar e apoiar as fontes originais.
O que é o AI Labyrinth da Cloudflare?
Resposta direta: É uma ferramenta que cria um labirinto de links falsos para cansar crawlers de IA desobedientes. Expansão: Ao identificar que um bot ignorou diretivas de bloqueio, o Labyrinth alimenta a IA com páginas geradas automaticamente, desperdiçando recursos de processamento e evitando a cópia do conteúdo real. Validação: A Cloudflare afirma que o método não afeta usuários humanos e já foi testado em clientes sob ataques de scraping.
Por que os crawlers de IA são um problema financeiro?
Resposta direta: Eles consomem conteúdo sem gerar cliques nem receita publicitária. Expansão: Chatbots e buscas com resumos entregam a resposta na interface do usuário, eliminando a necessidade de visitar o site. Isso reduz pageviews, CPM e inviabiliza a produção de conteúdo. Validação: Dados da Cloudflare mostram que a razão rastreamento/clique do Google passou de 6:1 para 18:1 em seis meses.
Bloquear bots de IA prejudica meu SEO?
Resposta direta: Depende do bot; bloquear Googlebot pode afetar ranking, mas bloquear IAs que não enviam tráfego não. Expansão: O ideal é segmentar apenas crawlers que ignoram robots.txt ou não geram visitas. Ferramentas de firewall e listas de IP ajudam a diferenciar. Validação: Especialistas em SEO recomendam testar o impacto com relatórios de Search Console antes de decisões permanentes.
