Die robots.txt – Datei

Die robots.txt – Datei

Robots.txt ist eine Textdatei, die normalerweise von Webmastern erstellt (aber oft vergessen) wird, um Web-Robots (normalerweise Suchmaschinen-Robots) anzuweisen, Seiten auf ihrer Website zu crawlen. Die Datei robots.txt gibt an, wie Robots eine Website crawlen, auf...