Criar robots.txt
Os mecanismos de busca utilizam-se de robôs de busca, conhecidos como webcrawlers, que percorrem automaticamente toda a web, a fim de indexar todo conteúdo disponível na rede.
O robot.txt é um arquivo texto que permite ou impede um robô indexar seu site ou parte dele. Este é o primeiro arquivo que os robôs procuram em seu site e deve ser colocado na raiz do site.
Se um site não possuir este arquivo, os robôs de busca irão percorrer normalmente todo o site.
Leia mais »