Deep Crawl

Bei einem Deep Crawl bewegt sich der Crawler einer Suchmaschine nicht nur oberflächlich über eine Webseite, sondern durchforstet auch tieferliegende Unterseiten und fügt diese dem Index hinzu. Je nachdem, wie groß eine Internetseite ist, kann das sogar einige Stunden dauern. Dabei orientiert sich der Crawler an den sogenannten Deep Links, also Links, die zu Unterseiten der Webseite führen. Auf diese Weise kann er auch zu Unterseiten gelangen, die tiefer in der Webseite liegen. Die Unterseiten werden dadurch losgelöst von der gesamten Seite bewertet und erhalten dadurch ihr eigenes Ranking.

Ein Deep Crawl soll es auch größeren Webseiten, die über viele Unterseiten verfügen, ermöglichen, möglichst viele dieser Unterseiten indexieren und bewerten zu lassen. Wie umfangreich dieser Deep Crawl am Ende ausfällt, hängt zu großen Teilen vom Crawl Budget ab. Denn dieses bestimmt, wie lange sich der Crawler auf einer Webseite aufhält. Kleine Webseiten mit nur wenigen Unterseiten haben hier meist keine Probleme. Große Webseiten können jedoch vor eine echte Herausforderung gestellt werden. Hier kann es passieren, dass das Crawl Budget aufgebraucht ist, bevor sich der Crawler über alle Unterseiten bewegt hat. Seiten, die nicht gecrawled werden, werden dementsprechend auch nicht dem Index hinzugefügt und können somit auch nicht ranken. Im schlimmsten Fall werden so eigentlich wichtige Unterseiten von den Suchmaschinen ignoriert und damit auch nicht von Nutzer*innen gefunden.

Glücklicherweise gibt es Maßnahmen, mit denen man dem entgegenwirken kann. So kann man etwa durch bestimmte Meta-Tags dafür sorgen, dass bestimmte Unterseiten von den Crawlern ignoriert werden. Dadurch lassen sich für Nutzer*innen irrelevante Unterseiten ausschließen und das Crawl Budget kann auf die wirklich wichtigen Seiteninhalte konzentriert werden. Zusätzlich kann es helfen, die Struktur der Seite so flach wie möglich zu halten und auf sehr tiefgehende Verlinkungen zu verzichten.