Scooter
Scooter é o “crawler” da Web para o motor de busca pública AltaVista. O AltaVista alegou uma vez que era “o mais rápido crawler Web conhecido que existe”. Scooter adere às regras de politeness para Web spiders que são especificadas no Standard for Robot Exclusion (SRE). Ele pergunta a cada servidor quais arquivos devem ser … Ler mais