Deep Web

A Web profunda, por vezes chamada de Web invisível, é a grande parte da Internet que é inacessível aos motores de busca convencionais. O conteúdo da Web profunda inclui mensagens de e-mail, mensagens de chat, conteúdo privado em sites de mídia social, extratos bancários eletrônicos, registros eletrônicos de saúde (EHRs) e outros conteúdos acessíveis pela Internet, mas que não são rastreados e indexados por mecanismos de busca como Google, Yahoo, Bing ou DuckDuckGo.

As razões para não indexar o conteúdo da Web profunda são variadas. Pode ser que o conteúdo seja proprietário, caso em que o conteúdo só pode ser acessado por visitantes aprovados que chegam através de uma rede virtual privada (VPN). Ou o conteúdo pode ser comercial, caso em que o conteúdo reside atrás de uma parede de membros e só pode ser acessado por clientes que tenham pago uma taxa. Ou talvez o conteúdo contenha informações pessoais identificáveis (PII), caso em que o conteúdo é protegido por regulamentos de conformidade e só pode ser acessado através de um site do portal por indivíduos a quem foram concedidos privilégios de acesso. Quando os mashups foram gerados na hora e os componentes não possuem uma localização de recurso uniforme permanente (URL), eles também se tornam parte da Web profunda.

Não se sabe o tamanho da Web profunda, mas muitos especialistas estimam que os mecanismos de busca rastejam e indexam menos de 1% de todo o conteúdo que pode ser acessado através da Internet. A parte da Internet que é rastejada e indexada pelos mecanismos de busca é às vezes referida como a Web de superfície. O termo "teia profunda" foi cunhado pelo BrightPlanet num livro branco de 2001 intitulado "A Teia Profunda": Surfacing Hidden Value" e é muitas vezes confundido na mídia com o termo "Teia Escura". Like deep Web content, dark Web content cannot be accessed by conventional search engines, but most often the reason is because the content is illegal.