Crawlability

Unter Crawlability versteht man, wie gut sich Crawler über eine Webseite bewegen können. Das ist wichtig, da nur so alle Seiten erfasst und indexiert werden können. Es gibt mehrere Möglichkeiten, um die Crawlability einer Webseite zu verbessern. Zum einen sollten im Head-Bereich der Webseite die entsprechenden Meta-Tags hinterlegt werden. Dazu zählen neben Meta-Titel und Meta-Beschreibung auch Befehle wie „index“ und „noindex“, die dem Crawler mitteilen, ob die Seite überhaupt indexiert werden soll. Auch Sitemaps können zur Steigerung der Crawlability genutzt werden. Denn über die Sitemap haben Crawler die Möglichkeit, auf alle Seiten einer Webseite zuzugreifen.

Interne Verlinkungen, also innerhalb der eigenen Webseite, sind hier ebenfalls ein wichtiges Instrument. Denn Crawler folgen Verlinkungen und hangeln sich auf diese Weise von Seite zu Seite. Durch geschickt gesetzte interne Links lassen sich Crawler also gezielt zu bestimmten Inhalten lotsen.

Die Ladegeschwindigkeit einer Webseite ist ebenfalls bedeutend für deren Crawlability. Je schneller eine Seite lädt, umso besser kann sie gecrawled werden. Lange Ladezeiten hindern den Crawler dagegen daran, sich über die Webseite zu bewegen und können sogar dafür sorgen, dass der Crawl-Vorgang abgebrochen wird.