Inteligência Artificial · seguranca digital
Cloudflare muda o controle de crawlers de IA: o que significa o aviso recebido por administradores
A Cloudflare substitui o bloqueio único de bots de IA por políticas separadas para busca, agentes e treinamento. A mudança exige revisar o painel: robots.txt declara preferência, mas o bloqueio técnico é outra camada.

Administradores de sites que usam Cloudflare começaram a receber um aviso com o título “Updates to managing AI crawlers on your account”. O assunto é menos dramático do que parece, mas merece atenção: a empresa está trocando o controle genérico “Block AI bots” por um painel mais detalhado, capaz de diferenciar a finalidade do robô que tenta acessar um domínio.
Até aqui, a opção antiga mirava principalmente crawlers conhecidos por coletar páginas para treinamento de IA. Ela tinha uma lacuna importante: alguns bots têm finalidade mista. Um mesmo operador pode indexar conteúdo para busca, usar páginas em respostas geradas em tempo real e também empregar dados para treinar ou ajustar modelos. A Cloudflare agora separa esses comportamentos em três grupos: Search, Agent e Training.
O primeiro grupo, Search, cobre rastreadores que indexam páginas para responder perguntas ou exibir resultados posteriormente. O segundo, Agent, descreve atividade automatizada em tempo real em nome de alguém — por exemplo, um assistente que abre e lê uma página quando o usuário faz uma pergunta. O terceiro, Training, reúne robôs que copiam conteúdo para treinar ou fazer ajuste fino de modelos. A documentação também inclui os crawlers de propósito misto no tratamento de treinamento quando se ativa uma política de bloqueio dessa categoria.
Essa distinção muda a pergunta que um dono de site precisa responder. Antes, a decisão parecia ser apenas “bloquear IA ou não?”. Agora ela pode ser: quero manter a descoberta por mecanismos de busca, mas impedir que o texto alimente treinamento? Quero deixar um agente consultar uma página pública em tempo real? Quero barrar qualquer coleta automatizada? São escolhas diferentes, com efeitos diferentes sobre visibilidade, uso de conteúdo e experiência de ferramentas de IA.
Para cada tipo de bot, a Cloudflare oferece três respostas: bloquear em todas as páginas, bloquear apenas em páginas em que ela detecta anúncios, ou permitir sem criar bloqueio. A opção ligada a anúncios é especialmente relevante para publishers: a lógica da empresa é dar proteção extra onde a página depende de receita publicitária, sem fechar necessariamente todo o domínio para automação. A detecção de anúncios, porém, é um mecanismo da própria Cloudflare; ela não substitui uma auditoria do proprietário sobre quais URLs são valiosas ou sensíveis.
A data que explica o e-mail é 15 de setembro de 2026. Segundo a documentação, a partir desse dia os novos domínios passam a ter como padrão o bloqueio de bots classificados como Training ou Agent em páginas com anúncios, enquanto Search continua permitido. Isso não deve ser lido como uma mudança automática e idêntica para toda conta já existente: políticas, zonas, regras personalizadas e preferências anteriores podem produzir resultados diferentes. Por isso, receber o aviso não basta para saber o estado de um site específico. A verificação correta é entrar no painel da zona, em Security Settings, procurar o filtro Bot traffic e abrir Configure AI bot policies.
Há uma segunda camada que costuma causar confusão: o robots.txt. A Cloudflare pode gerar e administrar esse arquivo para indicar a crawlers conhecidos que o proprietário não quer coleta para treinamento. O arquivo pode trazer sinais legíveis por máquina como search, ai-input e ai-train. Eles distinguem indexação tradicional, uso do conteúdo para dar contexto a uma resposta de IA em tempo real e treinamento ou ajuste fino. A empresa também testa um sinal use, com níveis que vão de uso imediato, sem armazenamento, a referência com índice e link, ou reprodução/sumarização mais ampla.
Mas robots.txt é uma instrução, não uma barreira. A própria Cloudflare ressalta que sua observância é voluntária: um crawler pode ignorar o Disallow e continuar solicitando as páginas. Quem quer exigir o bloqueio precisa combinar a preferência declarada com as políticas de AI bot no painel. Essa distinção também evita uma interpretação equivocada do novo aviso: ativar um arquivo de regras não significa que toda coleta foi tecnicamente interrompida; permitir busca não significa permitir treinamento; e bloquear treinamento não necessariamente impede um agente de consultar uma página, caso a política para Agent esteja liberada.
Há ainda o AI Labyrinth, recurso separado da Cloudflare. Ele insere links invisíveis com nofollow para prender bots que desrespeitam instruções de não rastreamento em uma sequência de páginas sem utilidade. A companhia afirma que esses links não afetam a aparência do site nem o SEO e que servem também para registrar sinais de comportamento abusivo. É uma camada defensiva e de detecção, não uma licença para conteúdo nem uma garantia de que todo robô malicioso será parado.
O debate maior é econômico. Em 2025, a Cloudflare passou a defender que coletores de IA fossem bloqueados por padrão em determinados cenários e apresentou a ideia de “Pay Per Crawl”, na qual empresas de IA poderiam negociar e pagar pelo acesso a conteúdo. A mudança de agora é mais operacional: ela transforma uma chave ampla em decisões por finalidade. Para sites que vivem de anúncios, assinaturas ou tráfego de referência, isso permite escolher uma posição menos binária. Para projetos pessoais e documentação pública, pode fazer sentido preservar Search e bloquear Training; para um serviço com informações sensíveis, a resposta pode ser mais restritiva.
O que não mudou é a necessidade de testar. Depois de alterar uma política, o administrador deve observar os eventos de segurança e os logs para verificar quais user agents foram bloqueados, comparar impacto em tráfego legítimo e manter regras específicas para caminhos que exigem tratamento diferente. Não convém confundir bots verificados com todo tráfego automatizado, nem bloquear indiscriminadamente serviços dos quais o próprio site depende. A ferramenta oferece mais controle; a decisão sobre o conteúdo continua sendo do dono do domínio.
Fontes consultadas
- Cloudflare: Block AI Bots — categorias, opções de bloqueio e novos padrões de 15 de setembro.
- Cloudflare: robots.txt setting — limites do
robots.txt, Content Signals e sinaluse. - Cloudflare: AI Labyrinth — funcionamento da camada de honeypot para crawlers não autorizados.
- Cloudflare: Content Independence Day — contexto da política e da discussão sobre compensação de criadores.
Fontes
Assuntosinteligencia artificialseguranca digitalcloudflarewebprivacidade