Warum sind Seiten nicht indexierbar?

Wenn Du herausfinden möchtest, warum eine Seite nicht für eine Suchmaschine indexierbar ist, werfe einen Blick auf den Indexierbarkeits Report unter Website Success > Indexierbarkeit > Was ist indexierbar? In der Spalte "Indexierbarkeit" siehst Du, ob eine Seite indexierbar ist. Falls sie nicht indexierbar ist wird Dir direkt der Grund dafür angezeigt:
 
190319_indexabilityColumn_GER.png
 
 

Disallow in den robots.txt

Mit der robots.txt-Datei gibst Du Bots an, welche Teile Deiner Webseite sie besuchen dürfen und welche nicht. Die robots.txt-Datei ist eine Richtlinie, an die sich gutmütige Bots in der Regel auch halten. Wenn Du eine URL oder ein Verzeichnis auf "disallow" setzt werden Suchmaschinen Bots diese auch nicht analysieren. Es kann trotzdem sein, dass eine URL, die über die robots.txt-Datei von der Analyse der Bots ausgeschlossen ist, indexiert wird. In diesem Fall zeigen vermutlich externe Links auf Deine URL, wodurch sie in den Index aufgenommen wurde.

 
 

Canonical Tag verweist auf eine andere Seite

Google hat das Canonical-Tag eingeführt, um Duplicate Content-Probleme zu vermeiden. Mit diesem Tag können Webseitenbesitzer festlegen, welche ihrer URLs kanonisch sind und welche nicht. Nur kanonische URLs werden indexiert. Wenn eine Deiner Seiten indexiert werden sollte, von unserem Crawler aber als nicht-indexierbar registriert wurde, stelle sicher, dass das Canonical-Tag dieser Seite auf sich selbst zeigt. Zeigt das Tag auf eine andere URL, wird stattdessen diese andere URL indexiert. 

 

Häufige Fehlerquellen beim Canonical-Tag sind der (fehlende) Trailing Slash, Unachtsamkeiten beim Protokoll (HTTP statt HTTPS) und Verwirrung bei der Subdomain (mit oder ohne "www"). Du kanst in der Einzelseitenanalyse überprüfen, ob das Canonical Tag richtig gesetzt wurde.

 

Das Canonical-Tag ist ein Hinweis für Google, es ist aber nicht bindend. Wenn Google Widersprüche feststellt kann es passieren, dass Google die Angaben im Canonical-Tag außer Acht lässt und selbst bestimmt, welche URLs indexiert werden. Stelle daher sicher, dass Deine Canonical-Tags korrekt gesetzt sind. Das Canonical-Tag kann im <head>-Bereich des Quellcodes und im HTTP-Header eingefügt werden.

 

Weiterleitung

Idealerweise befinden sich nur URLs im Index einer Suchmaschine, die mit dem Status Code 200 antworten. Wenn eine Seite mit einem anderen Status Code antwortet, wie etwa einer 3xx Weiterleitung, wird diese Seite mit der Zeit aus dem Index entfernt. Falls Du temporäre Weiterleitungen verwendest (302) stelle sicher, dass Deine URLs schlussendlich wieder mit 200 antworten, sobald der Grund für die kurzzeitige Weiterleitung behoben wurde. Falls die Weiterleitungen permanent eingerichtet wurden (301) korrigierst Du am besten alle internen Referenzen und setzt interne Links so, dass sie direkt zu dem neuen Zieldokument zeigen.

 
 

Meta-Tag "robots"

Mit dem Meta-Tag "robots" kann man Suchmaschinen angeben, ob eine Seite indexiert werden soll. Das Meta-Tag wird im <head>-Bereich des Quellcodes eingebaut, kann aber auch im HTTP-Header übertragen werden.

 

Wird das Meta-Tag "robots" auf "noindex" gesetzt wird diese URL nicht indexiert. Beachte dabei bitte, dass die Bots der Suchmaschinen auf die URL zugreifen müssen, um das Tag auszulesen. Die robots.txt -Datei muss also den Zugriff auf die URL erlauben.

 
 

Kaputte Seiten

Seiten, die mit Status Codes 4xx oder 5xx antworten, werden vonnoch den Suchmaschinen nicht indexiert. Wenn Deine bereits indexierte Seite plötzlich mit einem dieser Status Codes antwortet werden die Suchmaschinen in der Regel noch für einige Zeit versuchen, die Seite zu erreichen um zu sehen, ob sie wieder verfügbar wird bevor die Seite aus dem Index entfernt wird. Stelle daher sicher, dass Du Deine Webseite regelmäßig überprüfst um auf kaputte Seiten möglichst schnell zu reagieren.

Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk