RYTE und Yoast sagen NoIndex via robots.txt

Nutzt Du Bot Blocker oder Bot blockende Plugins (wie z.B. Wordfence)?

Ein häufiger Grund, warum Domains laut RYTE nicht indexierter sind, sind Plugins die zwischen Bot Besucher und Browser Besucher unterscheiden.

Wenn Du also eine Seite mit einem Crawler öffnest, würde das System die Rückmeldung ""<META NAME=""robots"" CONTENT=""noindex,nofollow""> "" bekommen. Selbst wenn Du deine Seite in einen Browser öffnest, wird die Antwort ""<meta name=""robots"" content=""noodp""/> "" sein.

Eine mögliche Erklärung wäre, dass Dein Server auf verschiedene Versionen der Seite antwortet, abhängig von dem User-Agent und der IP-Adresse. Bitte vergewissere Dich, dass unsere Crawler die Erlaubnis hat, Deine Webseite zu crawlen. Selbstverständlich kannst Du unseren Crawler User-Agent („OnPageBot“) auf die Whitelist setzen.

 

Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk