Warum sind manche URLs nicht indexierbar?

Wenn Du herausfinden möchtest, warum eine Seite nicht für eine Suchmaschine indexierbar ist, werfe einen Blick auf den Indexierbarkeits Report unter Website Success > Indexierbarkeit > Was ist indexierbar? In der Spalte "Indexierbarkeit" siehst Du, ob eine Seite indexierbar ist. Falls sie nicht indexierbar ist wird Dir direkt der Grund dafür angezeigt.

In diesem Artikel erläutern wir, was die verschiedenen Kategorien bedeuten.

Übersicht

 
190319_indexabilityColumn_GER.png

 

Disallowed via robots.txt

Mit der robots.txt-Datei gibst Du Bots an, welche Teile Deiner Webseite sie besuchen dürfen und welche nicht. Die robots.txt-Datei ist eine Richtlinie, an die sich gutmütige Bots in der Regel auch halten. Wenn Du eine URL oder ein Verzeichnis auf "disallow" setzt werden Suchmaschinen Bots diese auch nicht analysieren. Es kann trotzdem sein, dass eine URL, die über die robots.txt-Datei von der Analyse der Bots ausgeschlossen ist, indexiert wird. In diesem Fall zeigen vermutlich externe Links auf Deine URL, wodurch sie in den Index aufgenommen wurde.

 
 

Canonical auf eine andere Seite

Google hat das Canonical-Tag eingeführt, um Duplicate Content-Probleme zu vermeiden. Mit diesem Tag können Webseitenbesitzer festlegen, welche ihrer URLs kanonisch sind und welche nicht. Nur kanonische URLs werden indexiert. Wenn eine Deiner Seiten indexiert werden sollte, von unserem Crawler aber als nicht-indexierbar registriert wurde, stelle sicher, dass das Canonical-Tag dieser Seite auf sich selbst zeigt. Zeigt das Tag auf eine andere URL, wird stattdessen diese andere URL indexiert.

 

Häufige Fehlerquellen beim Canonical-Tag sind der (fehlende) Trailing Slash, Unachtsamkeiten beim Protokoll (HTTP statt HTTPS) und Verwirrung bei der Subdomain (mit oder ohne "www"). Du kannst in der Einzelseitenanalyse überprüfen, ob das Canonical Tag richtig gesetzt wurde.

 

Das Canonical-Tag ist ein Hinweis für Google, es ist aber nicht bindend. Wenn Google Widersprüche feststellt kann es passieren, dass Google die Angaben im Canonical-Tag außer Acht lässt und selbst bestimmt, welche URLs indexiert werden. Stelle daher sicher, dass Deine Canonical-Tags korrekt gesetzt sind. Das Canonical-Tag kann im <head>-Bereich des Quellcodes und im HTTP-Header eingefügt werden.

 

Weitergeleitet

Idealerweise befinden sich nur URLs im Index einer Suchmaschine, die mit dem Status Code 200 antworten. Wenn eine Seite mit einem anderen Status Code antwortet, wie etwa einer 3xx Weiterleitung, wird diese Seite mit der Zeit aus dem Index entfernt. Falls Du temporäre Weiterleitungen verwendest (302) stelle sicher, dass Deine URLs schlussendlich wieder mit 200 antworten, sobald der Grund für die kurzzeitige Weiterleitung behoben wurde. Falls die Weiterleitungen permanent eingerichtet wurden (301) korrigierst Du am besten alle internen Referenzen und setzt interne Links so, dass sie direkt zu dem neuen Zieldokument zeigen.

Verwende die Links-Übersicht unter Website Success > Links > Link Übersicht > Status Codes um interne Links auf Deiner Domain zu identifizieren, die auf eine Weiterleitung zeigen. In diesem Bericht kannst Du bequem nach den Status Codes der Linkziele filtern. Idealerweise zeigen alle internen Links auf Deiner Domain auf URLs mit dem Status Code 200.

 

noindex via robots

Mit dem Meta-Tag "robots" kann man Suchmaschinen angeben, ob eine Seite indexiert werden soll. Das Meta-Tag wird im <head>-Bereich des Quellcodes eingebaut, das Attribut "noindex" kann aber auch im HTTP-Header übertragen werden.

 

Wird das Meta-Tag "robots" auf "noindex" gesetzt wird diese URL nicht indexiert. Beachte dabei bitte, dass die Bots der Suchmaschinen auf die URL zugreifen müssen, um das Tag auszulesen. Die robots.txt -Datei muss also den Zugriff auf die URL erlauben.

 
 

Fehlerhaft

Seiten, die mit Status Codes 4xx oder 5xx antworten, werden von den Suchmaschinen nicht indexiert. Wenn Deine bereits indexierte Seite plötzlich mit einem dieser Status Codes antwortet werden die Suchmaschinen in der Regel noch für einige Zeit versuchen, die Seite zu erreichen um zu sehen, ob sie wieder verfügbar wird bevor die Seite aus dem Index entfernt wird. Stelle daher sicher, dass Du Deine Webseite regelmäßig überprüfst, um auf kaputte Seiten möglichst schnell zu reagieren.

Wie bei Weiterleitungen solltest Du auch hier darauf achten, dass keine internen Links auf eine kaputte Seite zeigen. Du kannst wieder die Status Code-Übersicht unter Website Success > Links > Link Übersicht > Status Codes nutzen, um Links zu fehlerhaften Seiten zu identifizieren und die Links zu korrigieren oder zu entfernen.

Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk