SEO e resultados de busca

O que é robots.txt

Também chamado de: arquivo robots, protocolo de exclusão de robôs, Robots Exclusion Protocol

Rodrigo Fávaro Fundador da ROO3

Publicado em 8 de outubro de 2026

Resposta direta

Robots.txt é um arquivo de texto na raiz do site que diz aos robôs dos buscadores quais endereços eles podem ou não rastrear. Serve principalmente para controlar o tráfego de robôs e evitar que eles gastem tempo com páginas sem importância. Não serve para esconder uma página do Google: uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela.

Exemplo hipotético

Uma loja bloqueia o rastreamento do carrinho e da busca interna com Disallow para todos os robôs. Depois, cria um grupo só para o Googlebot, com uma única linha liberando a pasta de imagens.

Resultado: o Googlebot passa a seguir só o próprio grupo e ignora o grupo geral. O carrinho e a busca interna, que estavam bloqueados, voltam a ser rastreados por ele. O conserto é repetir no grupo do Googlebot as regras que também devem valer para ele.

Como o arquivo funciona

O arquivo fica sempre em example.com/robots.txt, é texto puro em UTF-8 e se organiza em grupos. Cada grupo começa dizendo a qual robô se aplica e segue com as regras. O protocolo foi padronizado pela IETF como RFC 9309.

As quatro linhas que o Google entende
	Para que serve	Exemplo
user-agent	Diz a qual robô o grupo se aplica	User-agent: Googlebot
disallow	Caminho que não pode ser rastreado	Disallow: /carrinho/
allow	Exceção dentro de um bloqueio	Allow: /carrinho/ajuda
sitemap	Endereço completo do sitemap	Sitemap: https://example.com/sitemap.xml

O que o robots.txt não faz

Não tira página do Google. Para isso, use a regra noindex ou proteja a página com senha.
Não protege informação. O arquivo é público e só os robôs respeitáveis obedecem. Quem quer esconder algo precisa de senha no servidor.
Não combina com noindex na mesma página. Se a página está bloqueada, o Google não a rastreia e nunca vê o noindex.
Não tem crawl-delay no Google. O Google só entende user-agent, allow, disallow e sitemap.

O erro que mais pega: grupos não se somam

Pela especificação do Google, só um grupo vale para cada robô: o mais específico que combina com o nome dele. Os outros são ignorados. Um grupo feito para o Googlebot não herda nada do grupo geral, o do asterisco, e as regras dos dois não se combinam.

Na prática, quem cria um grupo para um robô específico precisa copiar para ele todas as regras que também devem valer. É um erro silencioso: o arquivo parece correto e nada avisa que o bloqueio deixou de valer.

Robots.txt e os robôs de IA

O Google oferece o nome Google-Extended para decidir se o conteúdo rastreado pode ser usado no treinamento dos modelos Gemini e para embasar respostas desses modelos. Bloquear o Google-Extended não afeta a presença do site na Pesquisa nem o ranqueamento.

Outras empresas publicam os próprios nomes. A OpenAI, por exemplo, separa o OAI-SearchBot, que alimenta os resultados de busca do ChatGPT, do GPTBot, usado para treinamento, e cada um pode ser liberado ou bloqueado de forma independente.

Limites e como testar

O Google lê até 500 KiB do arquivo e ignora o que passar disso.
O conteúdo costuma ficar em cache por até 24 horas; uma mudança pode levar esse tempo para valer.
O relatório de robots.txt do Search Console mostra quais arquivos o Google encontrou, quando os leu e os erros de cada um.

Perguntas frequentes

O que é robots.txt?

É um arquivo de texto na raiz do site que diz aos robôs dos buscadores quais endereços eles podem ou não rastrear.

Robots.txt tira uma página do Google?

Não. Uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para tirar a página, use noindex ou senha.

Onde fica o robots.txt?

Sempre na raiz do domínio, no endereço /robots.txt. Cada subdomínio tem o seu.

Como bloquear robôs de IA?

Com grupos para os nomes que cada empresa publica, como Google-Extended, do Google, e GPTBot, da OpenAI. Cada nome controla um uso diferente, e bloquear o Google-Extended não tira o site da Pesquisa.

Por que meu bloqueio parou de funcionar?

Um motivo comum é ter criado um grupo para um robô específico. Esse robô passa a seguir só o próprio grupo e ignora as regras do grupo geral.

Termos relacionados

Fontes

Rodrigo Fávaro

Fundador da ROO3, agência de marketing e tecnologia em São José do Rio Preto. Constrói produtos com IA em produção (Tobia, gerar.app, Pense Mercado) e mantém o AI Benchmark, ranking público de modelos de IA.

X @rodmf LinkedIn rodrigofavaro

Marketing que se mede, do anúncio à venda.

A ROO3 monta e opera tráfego pago, SEO e sites com meta, painel e número de verdade. A primeira conversa é gratuita.

Falar com a ROO3 Ver o glossário completo