Focused Crawling

Das Focused Crawling kommt bei Webseiten zum Einsatz, bei denen die Inhalte regelmäßig aktualisiert werden. Diese Webseiten werden besonders häufig von Crawlern durchforstet, damit Google und Co. stets alle Aktualisierungen im Blick behalten. Suchmaschinen sind inzwischen so intelligent, dass sie erkennen können, wenn Inhalte auf Webseiten immer wieder angepasst und geändert werden. Diese Webseiten werden dann Ziel von Focused Crawling. Auf diese Weise gehen Suchmaschinen sicher, dass keine veralteten Suchergebnisse angezeigt werden. Sobald Suchmaschinen merken, dass Inhalte über einen längeren Zeitraum hinweg nicht mehr bearbeitet werden, dann werden sie auch seltener vom Crawler besucht.

Focused Crawling hat einen großen Vorteil gegenüber Deep Crawling. Denn während sich beim Deep Crawling der Crawler nur innerhalb von sehr großen zeitlichen Abständen über die Webseite bewegt, sind die Abstände beim Focused Crawling deutlich kürzer. Inhalte werden dadurch also deutlich schneller erfasst und indexiert als beim Deep Crawling. Die Intervalle, in denen sich der Crawler über die Webseite bewegt, sönnen also aktiv dadurch beeinflusst werden, indem man Inhalte regelmäßig aktualisiert oder neue Inhalte hinzufügt.