Robots.txt
Robots.txt é um arquivo em um site que instrui aos mecanismos de busca quais partes do site não devem ser acessadas pelos bot programs. Robots.txt é um arquivo de texto simples mas usa comandos especiais e sintaxe para webcrawlers. Embora não oficialmente padronizado, robots.txt é geralmente seguido por todos os mecanismos de busca. Programas Spider, como … Ler mais