Crawler

Crawler werden von Suchmaschinen eingesetzt, um Inhalte von Webseiten auszulesen und zu indexieren. Eine alternative Bezeichnung für Crawler lautet auch Robot oder Bot. Dabei handelt es sich natürlich nicht wirklich um einen Roboter, sondern um ein Programm.

Damit der Crawler überhaupt damit beginnt, sich durch eine Webseite zu bewegen, muss man ihm zu Beginn mithilfe von Start-URLs den richtigen Weg zeigen. Anhand dieser Start-URLS beginnt der Crawler dann, die Webseite zu durchforsten und hangelt sich dabei über Verlinkungen durch die Webseite. Das macht er dann so lange, bis das Crawl Budget für den Tag ausgeschöpft ist. Nachdem der Crawler auf einer Seite war, wird sie im Anschluss in den Index der Suchmaschine aufgenommen.

Als Webseiten-Betreiber*in haben Sie die Möglichkeit, das Verhalten von Crawlern durch Meta-Tags zu steuern. Diese werden in den Head-Bereich der Webseite eingefügt. Durch den Befehl „nofollow“ können Sie dem Crawler beispielsweise signalisieren, dass er den Links, die sich auf einer Seite befinden, nicht folgen soll. Mit „noindex“ können Seiten wiederum komplett von der Indexierung ausgeschlossen werden. Mithilfe der robots.txt Datei kann diese Steuerung noch präziser erfolgen. So können Sie festlegen, welche Seiten vom Crawler überhaupt nicht besucht oder indexiert werden sollen.