Crawl Budget

Crawlern steht pro Webseite nur ein bestimmtes Zeitkontingent zur Verfügung. Ist dieses Kontingent aufgebraucht, dann verlassen sie die Webseite wieder und beginnen damit, die nächste Webseite zu crawlen. Dieses Zeitkontingent wird als Crawl Budget bezeichnet.

Tatsächlich kann das Crawl Budget durch bestimmte SEO Maßnahmen beeinflusst werden. Denn Webseiten, die von Google aus SEO-technischer Sicht positiv bewertet werden, erhalten oftmals auch ein höheres Crawl Budget. Im Gegenzug kann eine nur schlecht optimierte Webseite aber auch dazu führen, dass das Crawl Budget nicht komplett ausgeschöpft werden kann. Dazu zählen beispielsweise lange Verkettungen von 301-Weiterleitungen oder viele Seiten, die in 404-Fehlercodes enden.

Das Crawl Budget beeinflusst also aktiv, wie gut oder schlecht eine Webseite in den Suchergebnissen sichtbar ist. Ist das Crawl Budget ausgeschöpft, bevor die wirklich relevanten Seiten gecrawled werden konnten, kann es passieren, dass wichtige Landingpages überhaupt nicht oder zumindest erst sehr verspätet im Index der Suchmaschinen landen.

Aber glücklicherweise kann der Crawler durch Optimierungen etwas gesteuert werden. So lassen sich beispielsweise Seiten, die nicht indexiert werden sollen, explizit ausschließen und bestimmte Seiten durch geschickte interne Verlinkungen priorisieren. Auch das Bereitstellen einer Sitemap, eine übersichtliche Navigation und schnelle Server mit kurzen Ladezeiten tragen dazu bei, dass das Crawl Budget optimal genutzt wird.