Warum konnte mein Projekt nicht komplett gecrawlt werden?

Falls Dein Projekt nicht komplett gecrawlt werden konnte sehe Dir die Projekt Einstellung -> Advanced Crawl um die mögliche Ursache herauszufinden:

CC.png 

In diesem Beispiel sieht man dass einige URLs ignoriert wurden, dies kann an den aktuellen Crawl-Einstellungen liegen.

Zum Beispiel mit der Option robots.txt befolgen werden alle "dissallowed" URLs ignoriert, wenn Subdomains deaktiviert sind werden entsprechend diese URLs ignoriert. Bitte überprüfe ebenfalls die Whitelist/Blacklist, die Unterverzeichnis Einstellungen sowie die Option Bilder analysieren.

Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk