Scheduler

Element einer Suchmaschinensoft- und -hardware, das die Aktivitäten des Crawlers verwaltet ("zentrales Verwaltungsorgan"). Hier werden die verschiedenen Crawler koordiniert und Aufträge erteilt. Die Richtlinien, wann eine Webseite von Crawler aufgesucht wird, z. B. Neuigkeitsgrad, Pflege des Bestandes u.a., hängen von der Politik des Suchmaschinenbetreibers ab.