Um gerente de marketing nos procurou semana passada com uma pergunta direta: “A gente tem site rápido, SEO em dia, conteúdo publicado toda semana. Por que a gente não aparece quando alguém pergunta no ChatGPT quem resolve esse problema?”. Como aparecer no ChatGPT?
Fomos olhar o robots.txt. Estava aberto. Fomos olhar o Cloudflare. Ali estava o problema, num toggle ativado pela TI meses atrás para “bloquear os robôs de IA.”
A TI estava protegendo a empresa. E ao fazer isso, tinha apagado a empresa das respostas de IA sem que ninguém de marketing soubesse.
Não foi má intenção. Foi falta de distinção.
Quando a conversa sobre bots de IA chegou às empresas, a narrativa foi simples demais: existem robôs que raspam seu conteúdo para treinar modelos de linguagem de grande escala. Bloqueie-os.
A instrução faz sentido se o objetivo é proteger propriedade intelectual. O problema é que ela ignora uma divisão que se tornou crítica desde 2024: existem bots de treinamento e bots de retrieval, e eles fazem coisas completamente diferentes.
Os bots de retrieval são o que move a estratégia de GEO. Quando um comprador pergunta ao ChatGPT “qual agência de marketing B2B tem casos em [segmento]”, o OAI-SearchBot vai buscar essa informação agora, em tempo real. Ele não vai para um banco de dados de 2023.
Se esse bot estiver bloqueado, sua empresa não entra na resposta. Não fica em segundo lugar. Não aparece mais abaixo. Não existe.
A separação entre os dois tipos de bot é recente. A Anthropic dividiu o ClaudeBot (crawler de treinamento) do Claude-Web (agente de retrieval em tempo real) somente depois que a discussão sobre proteção de conteúdo criativo ganhou escala.
A OpenAI fez movimento parecido: GPTBot treina o modelo, OAI-SearchBot alimenta as respostas do ChatGPT em conversas ao vivo.
Empresas que criaram políticas de bloqueio antes dessas separações, ou que copiaram regras de robots.txt da internet sem entender o contexto, bloquearam tudo. Inclusive o que precisavam manter aberto.
Em julho de 2025, a Cloudflare mudou o comportamento padrão da plataforma: todos os novos domínios passaram a bloquear automaticamente os bots de IA considerados “conhecidos”. Sem notificação segmentada para o time de marketing. Sem distinção entre treinamento e retrieval.
Um toggle. Uma política de segurança. Potencialmente 20% da web pública impactada, já que a Cloudflare opera em escala global entre provedores de CDN.
O problema não é a Cloudflare ter oferecido a opção. O problema é que “bloquear bots de IA” foi tratado como decisão técnica quando é, na prática, uma decisão comercial.
Levantamentos de 2026 estimam que 27% dos sites bloqueiam crawlers de IA involuntariamente por configurações de CDN, WAF ou robots.txt com escopo amplo demais.
E o robots.txt não é o único vetor. Um site pode estar completamente aberto para bots de busca e ainda ter o WAF rejeitando requisições de user-agents de IA na camada de rede, antes de qualquer bot chegar ao conteúdo.
A maioria das empresas verifica só o robots.txt quando o assunto é visibilidade para IAs. Mas existem quatro camadas que precisam estar alinhadas para que os bots de retrieval consigam acessar o seu conteúdo. Basta uma errada para a empresa sair das respostas.
1. robots.txt
Verifique se OAI-SearchBot, Claude-Web e PerplexityBot estão explicitamente permitidos, ou ao menos sem regra de bloqueio. Um User-agent: * seguido de Disallow: / cobre qualquer bot sem regra explícita. Cuidado também com tutoriais que ensinam a bloquear o GPTBot e listam o OAI-SearchBot no mesmo bloco, sem explicar que os dois têm funções opostas do ponto de vista da sua visibilidade.
2. Configurações de Cloudflare
Acesse Security > Bots no painel. Se a opção “Block AI Scrapers” estiver ativa, entenda o que ela inclui. Na configuração atual, “AI scrapers” é uma categoria que pode abranger tanto bots de treinamento quanto bots de retrieval. A granularidade para separar os dois exige configuração manual de regras de firewall, que a documentação da Cloudflare descreve em detalhe.
3. WAF (Web Application Firewall)
WAFs de terceiros como Sucuri, Imperva e AWS WAF frequentemente têm regras genéricas que bloqueiam user-agents associados a “bots” ou “scrapers”. Esses filtros não conhecem a diferença entre GPTBot e OAI-SearchBot. Revise as regras procurando qualquer bloqueio de user-agent que contenha “bot”, “crawler” ou “AI” de forma abrangente, e avalie o que cada regra cobre antes de criar exceções.
4. Renderização server-side
Bots de retrieval não executam JavaScript. Se o seu site depende de renderização client-side para carregar o conteúdo principal, esses bots chegam à página e encontram uma estrutura vazia. O problema não é de acesso: é de tecnologia. Sites construídos em frameworks JavaScript sem SSR (Server-Side Rendering) configurado são invisíveis para boa parte dos crawlers de IA, independente de qualquer regra de bloqueio no robots.txt ou Cloudflare.
73% dos compradores B2B usam ferramentas de IA durante a pesquisa de fornecedores, segundo análise de março de 2026 cobrindo 680 milhões de citações em plataformas de IA.
O tráfego originado de busca por IA converte 5,1x mais do que o tráfego orgânico do Google (14,2% vs. 2,8%). Não é canal de branding difuso. É pipeline qualificado.
Para o segmento B2B de tecnologia, 70% das queries já exibem AI Overviews do Google. E a sobreposição entre estar no top-10 do Google e ser citado nesses Overviews caiu de 75% em meados de 2025 para entre 17% e 38% em 2026. Ranquear bem no Google não garante mais visibilidade nas respostas de IA. São dois jogos diferentes.
A Bain & Company documentou que 85% dos compradores B2B chegam à primeira reunião com uma lista de fornecedores preferidos já formada. Essa lista agora é construída em conversas com IA, antes de qualquer contato com o time comercial.
Se sua empresa não aparece nas respostas, ela não foi eliminada da shortlist. Ela simplesmente nunca entrou.
O diagnóstico é mais simples do que parece. Antes de qualquer configuração nova, entenda o estado atual:
seusite.com.br/robots.txt no navegador e procure pelos user-agents de IA listados. Identifique o que está explicitamente bloqueado e o que não tem regra (comportamento padrão: permitido).Esses quatro passos não resolvem a estratégia de GEO da empresa, mas removem o obstáculo que impede qualquer estratégia de funcionar. Antes de otimizar conteúdo para IA, é preciso garantir que a IA consegue ler o conteúdo.
Uma auditoria de SEO técnico bem feita hoje precisa incluir esse diagnóstico. Não é mais opcional.
A empresa bloqueou o GPTBot para não ter o conteúdo raspado. Junto foram o OAI-SearchBot, o Claude-Web e o PerplexityBot. Os bots que não alimentam banco de dados nenhum. Os bots que, quando liberados, fazem o ChatGPT citar você no momento exato em que o comprador está montando a lista de fornecedores que vai considerar.
A TI protegeu o servidor. O marketing perdeu a conversa.
We Grow Together!
Bloquear o GPTBot no robots.txt prejudica meu SEO no Google?
Não diretamente. O GPTBot é o crawler de treinamento da OpenAI e não tem relação com o Googlebot. Bloquear o GPTBot não afeta seu ranqueamento no Google. O risco está em bloquear o OAI-SearchBot e o Claude-Web, que são os agentes responsáveis por buscar informações em tempo real para compor respostas no ChatGPT e no Claude. Esses bots, quando bloqueados, removem sua empresa das respostas das IAs no momento em que o comprador está pesquisando fornecedores. Saiba mais sobre como o SEO técnico se integra à visibilidade em IA.
Qual a diferença entre bot de treinamento e bot de retrieval?
Bots de treinamento (GPTBot, ClaudeBot) rastreiam a web para coletar dados que alimentam o processo de treinamento dos modelos de linguagem. É uma coleta histórica e em lote. Bots de retrieval (OAI-SearchBot, Claude-Web, PerplexityBot) são acionados em tempo real quando um usuário faz uma pergunta numa plataforma de IA. Eles buscam o conteúdo naquele momento para compor a resposta. Um afeta o modelo no longo prazo. O outro afeta se você aparece ou não na resposta de agora.
Como saber se minha empresa está sendo bloqueada pelos crawlers de IA?
O sinal mais imediato é fazer perguntas sobre seu segmento e serviços nas principais plataformas (ChatGPT, Perplexity, Claude) e verificar se sua empresa é mencionada. O diagnóstico técnico passa por verificar o robots.txt, revisar as regras do Cloudflare e WAF, e usar ferramentas de visibilidade como LLMrefs ou AI Visibility Checker. O robots.txt em seusite.com.br/robots.txt mostra as regras declaradas, mas não confirma o que acontece nas camadas de CDN e WAF, que bloqueiam antes do conteúdo ser acessado.
Devo bloquear todos os bots de IA para proteger meu conteúdo?
Depende do que você quer proteger e do custo real dessa proteção. Bloquear bots de treinamento (GPTBot, ClaudeBot) é uma opção legítima se você não quer que seu conteúdo alimente modelos futuros. Mas bloquear bots de retrieval significa abrir mão de visibilidade ativa nas plataformas de IA, num momento em que 73% dos compradores B2B já usam essas plataformas para pesquisar fornecedores. A decisão não é técnica. É estratégica, e precisa envolver marketing, não só TI.
O Cloudflare bloqueou meus crawlers de IA automaticamente. Como reverter?
No painel do Cloudflare, acesse Security > Bots. Se “Block AI Scrapers” estiver ativo, você pode desativá-lo ou criar regras de firewall customizadas que permitam user-agents específicos (como OAI-SearchBot e PerplexityBot) enquanto mantêm outros bloqueados. A Cloudflare documentou esse processo em developers.cloudflare.com/bots/additional-configurations/block-ai-bots. O recomendado é criar uma regra de permissão explícita para os bots de retrieval antes de ativar qualquer bloqueio amplo.
O llms.txt resolve o problema de visibilidade nas IAs?
Não diretamente. O llms.txt é um arquivo opcional que orienta modelos de IA sobre o conteúdo do site, de forma parecida com o robots.txt para mecanismos de busca. Mas ele não substitui o acesso. Se os crawlers de retrieval estiverem bloqueados no Cloudflare ou no WAF, o llms.txt não é lido. O primeiro passo é garantir acesso técnico ao conteúdo. O llms.txt é uma otimização adicional dentro de uma estratégia de GEO já funcionando, não um atalho para visibilidade.
