Crawling

Definición:

Es un proceso mediante el cual el robot de Google descubre páginas nuevas y actualizadas que se añaden al índice. Utilizan un enorme conjunto de equipos informáticos para rastrear miles de millones de páginas en la web para después indexarlas. Los propietarios de los sitios pueden decidir si se rastrea o no.