robots.txt-Datei

In einer Datei mit dem Namen robots.txt können Webprogrammierer angeben, welche Verzeichnisse von Crawlern auslesen werden sollen und welche nicht. Die überwiegende Mehrheit der Suchmaschinenbetreiber lesen bei Vorhandensein dieser Datei diese aus und lassen die Suchsoftware die Anweisungen befolgen.