Fresh Crawl

Das erste Mal, wenn sich ein Crawler über eine frisch veröffentlichte Webseite bewegt, wird als Fresh Crawl bezeichnet. Die Seite wird dazu zunächst nur oberflächlich gecrawled und im Anschluss in den Index aufgenommen. Webseiten, bei denen gerade ein Fresh Crawl vorgenommen wurde, werden zu Beginn oftmals von den Suchmaschinen bevorzugt behandelt. Daher ist es nicht ungewöhnlich, dass noch recht junge Seiten für kurze Zeit sehr gute Suchergebnisse erzielen.

Damit Webseiten möglichst schnell einen Fresh Crawl durchlaufen, ist es ratsam, die Seite bei den gängigen Suchmaschinen anzumelden. Ohne diese Anmeldung können Wochen oder sogar Monate vergehen, bis die Seite von den Crawlern entdeckt wird und im Index landet. Neue Webseiten werden zunächst Teil des sogenannten Fresh-Index. Dieser ist eine Art Sammlung aller neuen Webseiten in einem bestimmten Zeitraum.

Der Fresh Crawl sorgt lediglich dafür, dass die Webseite überhaupt über Suchmaschinen gefunden werden kann. Nach ein paar Tagen oder maximal Wochen findet dann ein sogenannter Deep Crawl statt. Jetzt werden die Inhalte der Webseite im Detail erfasst, was dann über das tatsächliche Ranking der Webseite entscheidet. Die Seite verliert also ihren „Welpenschutz“, den sie direkt nach dem Fresh Crawl genießen konnte. Eine gut optimierte Seite wird ihr hohes Ranking weiterhin behalten, während schlecht optimierte Seiten abrutschen. Im schlimmsten Fall kann die Webseite sogar wieder aus dem Index entfernt werden.

Aufgrund des anfangs guten Rankings, das unmittelbar nach dem Fresh Crawl erzielt wird, ruhen sich Webseitenbetreiber*innen gerne auf ihren Lorbeeren aus und unternehmen nach Launch der Webseite zunächst keine weiteren SEO-Maßnahmen. Das stellt sich jedoch oftmals als fataler Fehler heraus und die Webseite verliert nach dem ersten Deep Crawl an Ranking. Daher ist es wichtig, die Webseite bereits vor dem Launch für Suchmaschinen zu optimieren und auch nach dem Launch noch kontinuierlich an der Suchmaschinenoptimierung zu arbeiten.