Todas las páginas web son rastreadas periódicamente por web crawlers, estas «arañas de rastreo», son para que se entienda con facilidad, aplicaciones (programas) que navegan sin rumbo por todo internet saltando a través de los vínculos de unas páginas a otras, y durante ese proceso van recopilando información de las páginas por las que pasan. Google, Bing, Hotbot,etc.. por ejemplo utilizan esa información recopilada por sus crawlers para clasificar las webs en sus resultados de búsqueda o directorios, y otras empresas o instituciones pueden usarlas para saber cúantas páginas web en Español hay en el mundo, de esas páginas cuales son tiendas online, cuales son blogs, su antigüedad, y otra cantidad de información.
