Spider Trap

In der Theorie lassen sich Crawler durch die Robots.txt Datei steuern und so beispielsweise vom Erfassen und Indexieren bestimmter Inhalte abhalten. Das gilt jedoch nur für „seriöse“ Crawler, die von Suchmaschinen stammen. Denn das sind leider nicht die einzigen Crawler, die sich im Internet tummeln. Daneben gibt es noch zahlreiche unerwünschte Bots, die beispielsweise nach Sicherheitslücken oder Spam-Möglichkeiten suchen. Diese Bots möchte man nicht unbedingt auf der eigenen Webseite haben. Da sie in der Regel die in der Robots.txt hinterlegten Anweisungen einfach ignorieren, gibt es sogenannte Spider Traps.

Übersetzt bedeutet dies etwa so viel wie „Spinnen-Falle“. Gemeint sind damit Maßnahmen, mit denen unerwünschte Bots davon abgehalten werden, eine Webseite zu indexieren. Bei einer Spider Trap handelt es sich um eine Art Endlosschleife, in der die Crawler gefangen werden. Sie werden dazu auf eine Seite geleitet, die ihnen immer wieder neue Inhalte und Links zur Verfügung stellt. Die Crawler folgen diesen immer weiter und schaffen es dadurch nicht, auf die eigentliche Seite zu gelangen.