A spider é um programa que visita websites e lê suas páginas e outras informações para criar entradas para um índice do motor de busca. Os principais motores de busca na Web têm todos esse programa, que também é conhecido como um "crawler" ou um "bot". As aranhas são normalmente programadas para visitar sites que tenham sido submetidos pelos seus proprietários como novos ou actualizados. Sites inteiros ou páginas específicas podem ser visitados e indexados de forma seletiva. As aranhas são chamadas de aranhas porque normalmente visitam muitos sites em paralelo ao mesmo tempo, suas "pernas" abrangendo uma grande área da "teia". As aranhas podem rastejar através das páginas de um site de várias maneiras. Uma maneira é seguir todos os links de hipertexto em cada página até que todas as páginas tenham sido lidas.
A aranha para o motor de busca AltaVista e o seu site chama-se Scooter . A Scooter adere às regras de cortesia para Web spiders que são especificadas no Standard for Robot Exclusion (SRE). Pergunta a cada servidor quais arquivos devem ser excluídos de serem indexados. Ele não passa (ou não pode) pelo firewall . E usa um algoritmo especial de espera entre sucessivas solicitações do servidor para que não afete o tempo de resposta para outros usuários.