Die robots.txt – Datei

neukundengewinnung

4. Dezember 2021

l
Nov 27, 2021
b
216
Wörter
Lesedauer
1 minute

Robots.txt ist eine Textdatei, die normalerweise von Webmastern erstellt (aber oft vergessen) wird, um Web-Robots (normalerweise Suchmaschinen-Robots) anzuweisen, Seiten auf ihrer Website zu crawlen. Die Datei robots.txt gibt an, wie Robots eine Website crawlen, auf Inhalte zugreifen und diese indexieren und diese Inhalte den Nutzern bereitstellen müssen. In der Praxis geben robots.txt-Dateien an, ob bestimmte User-Agents (Web-Crawling-Software) Teile einer Website crawlen können oder nicht. Diese Crawling-Anweisungen werden durch „Verbieten“ (diesallow) oder „Erlauben“ (allow) des Verhaltens bestimmter (oder aller) Benutzeragenten festgelegt.

Wo liegt die robots.txt?

Die robots.txt liegt idealerweise im Hauptverzeichnis einer Installation.

Aufruf der robots.txt

Die robots.txt rufen Sie wie folgt auf:

https://domain/robots.txt

robots.txt-Tester von Google

Vorabbemerkung: zur Nutzung dieses Tools sollten Sie die betreffende Seite bei der Google Search Console hinterlegt haben. Ist dies geschehen, dann erreichen Sie den robots.txt-Tester unter der Adresse

https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=%206062598

Sie können nun eine Property auswählen, die Sie bei der Google Search Console hinterlegt haben. Anschließend testet das Tool ob eine robots.txt vorhanden ist, ob diese erreichbar ist und ob eventuell Fehler enthalten sind.

Das Ergebnis kann wie folgt aussehen:

robots txt

 

 

 

 

seo

Bleiben Sie mit uns in Verbindung

In unserem Newsletter informieren wir sie regelmäßig über Neuigkeiten rund um die Themen Marketing, SEO, E-Commerce und relevante rechtliche Themen

Tragen Sie einfach Ihre Email Adresse ein. Wir senden Ihnen anschließend diesen Beitrag als pdf zu.
Wir versenden kein Spam. Lesen Sie bitte unsere Datenschutzerklärung

Sie haben Fragen zum Thema?

Nehmen Sie unverbindlich Kontakt mit uns auf: Rufen Sie uns an unter

0176 40783890

oder schreiben Sie uns eine Email unter

ks@pr-agentur.pro