Was ist robots.txt?

Bei der robots.txt Datei handelt es sich um eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain von einem Suchmaschinenrobot gecrawlt werden dürfen und welche nicht. Mit der robots.txt können einzelne Dateien in einem Verzeichnis, komplette Verzeichnisse oder ganzen Domains vom Crawling ausgeschlossen werden. Die robots.txt-Datei wird im Root der Domain hinterlegt. Sie ist das erste Dokument, das ein Bot abruft, wenn er eine Webseite besucht.
 
Zusätzlich gibt die robots.txt einen Verweis wo die sitemap(s) deiner Domain(s) zu finden sind.
 
Aus diesen Gründen ist die robots.txt eine sehr bedeutende Datei und hat eine große Relevanz für SEO.
 
Es gibt zwei Möglichkeiten wo die robots.txt Instruktionen gefunden werden können:
 
  1. Sie kann auf www.DEINEDOMAIN.com/robots.txt
  2. robots Instruktionen in deinen meta tags jeder HTML Seite
 
Bitte analysiere beide Bereiche und schaue, ob diese auf „index“ oder „noindex“ gesetzt wurden und ob dies so gewollt ist.
 
Hier sind ein par generelle Informationen über dieses Thema: https://de.onpage.org/wiki/Robots.txt
Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk