Crawl-Budget

Von Suchmaschinenbetreibern für jede Domain unterschiedliche definierte Zeit, in denen der Crawler die Seite durchsucht, bevor er sich wieder neuen Seiten zuwendet. Das Wissen um ein nicht unendliches Crawl Budget sollte besonders bei der Pflege sehr umfangreicher Webseiten berücksichtigt werden. Dazu gehört vermutlich auch die (un)regelmäßige "natürliche" Aktualisierung von Inhalten. Vgl. auch: http://www.sistrix.de/news/crawling-und-indexierung-umfangreicher-webseiten/