Noindex

Wenn eine Seite nicht in den Index von Suchmaschinen aufgenommen werden soll, dann wird dies durch den Meta-Tag „noindex“ kommuniziert. Der Meta-Tag wird dazu in den Head-Bereich des HTML-Quellcodes eingebaut. Dadurch können entweder einzelne Unterseiten oder auch die komplette Webseite von der Indexierung ausgeschlossen werden. Das bedeutet dann, dass sie nicht über die Suchergebnisse auffindbar sind. Die Seite darf jedoch weiterhin von den Bots der Suchmaschinen gecrawled werden.

Der noindex-Tag kann zudem noch mit dem nofollow-Tag oder dem follow-Tag kombiniert werden. Die Kombination noindex und nofollow bedeutet, dass eine Seite nicht indexiert wird und die Crawler außerdem keinem Link auf der Seite folgen. Bei noindex und follow wird die Seite dagegen zwar nicht indexiert, die Crawler folgen jedoch den Verlinkungen auf der Seite.

Der noindex-Tag sollte nicht mit dem disallow-Befehl aus der Robots.txt Datei verwechselt werden. Denn Seiten, die mit noindex gekennzeichnet sind, werden weiterhin gecrawled. Der disallow-Befehl sorgt dagegen dafür, dass Crawler überhaupt nicht auf die Seite zugreifen.