Blockierte Inhalte

Blockierte Inhalte sind Inhalte, die von den Crawlern der Suchmaschinen nicht erfasst und indexiert werden sollen. Dafür kann es mehrere Gründe geben. Oftmals werden die Inhalte einer Webseite für Crawler blockiert, solange sich die Seite noch im Aufbau befindet. Auch doppelte Inhalte sollten für Crawler unzugänglich gemacht werden. Dazu gibt es verschiedene Möglichkeiten:

• Robots-Tag: Der Robots-Tag kann genutzt werden, um bestimmte Anweisungen an die Crawler der Suchmaschinen zu übermitteln. Dazu wird der Tag in den Head-Bereich einer Seite eingefügt. Standardmäßig sind in diesem Tag die Anweisungen „index“ und „follow“ angegeben. Das bedeutet, dass die Crawler die Seite indexieren und den Links auf der Seite folgen sollen. Das Gegenstück zu diesen Befehlen lautet „noindex“ und „nofollow“. Seiten, die damit versehen sind, werden nicht indexiert und die Crawler folgen keinen Links.
• txt: Bei der Robots.txt handelt es sich um ein Textdokument, das sich im Root-Verzeichnis einer Webseite befindet. Die Datei richtet sich speziell an Crawler und ist mit Anweisungen für diese versehen. Dadurch ist es möglich, bestimmte Seiten für Crawler zu sperren. Diese blockierten Inhalte werden daher nicht indexiert.
• IP Blocking: Mithilfe einer htaccess Datei können bestimmte IP-Adressen vom Zugriff auf eine Webseite ausgeschlossen werden. Voraussetzung dafür ist jedoch, dass man sowohl den Namen als auch die IP-Adresse des Crawlers kennt. Allerdings ist das keine Garantie dafür, dass die Seite wirklich nicht indexiert wird. Denn es kommt immer wieder vor, dass sich Crawler als andere Bots ausgeben.

Bei blockierten Inhalten sollte immer darauf geachtet werden, dass die richtigen Seiten für die Crawler gesperrt werden. Ansonsten kann es passieren, dass eigentlich wichtige Seiten nicht gecrawled und zum Index hinzugefügt werden können.