Wenn der Crawler mehr URLs findet, wie er analysiert oder die Meldung kommt, dass die Webseite nicht vollständig analysiert werden konnte, kann dies verschiedene Gründe haben. In vielen Fällen liegt es an den Projekteinstellungen:
Das Crawl-Volumen ist nicht ausreichend.
Subdomains werden ausgeschlossen.
URLs werden über robots.txt ausgeschlossen.
URLs werden über die Blacklist ausgeschlossen.
URLs werden über die Whitelist spezifiziert.
Es wird nur ein bestimmtes Unterverzeichnis überprüft.
Am unteren Ende der Projekteinstellungen kannst Du über den Reiter „Frühere Analysen“ auch einsehen, wie viele URL in der Vergangenheit gefunden und analysiert wurden. So kannst Du sehen, ob das Problem schon länger besteht oder erst vor kurzem aufgekommen ist, z. B. durch geänderte Einstellungen.
Ob die robots.txt-Datei ausgewertet und Subdomains gecrawlt werden sollen, kann in den Projekteinstellungen unter dem Punkt „Was soll analysiert werden“ festgelegt werden.
Weiter unten, unter dem Reiter „Erweiterte Analyse“ kannst Du einsehen, ob nur ein Unterverzeichnis analysiert wird („Erweiterte Analyse“ -> „Was analysiert wird“ -> „Unterverzeichnis analysieren“) oder Subdomains angeben („Subdomains analysieren“).
Ebenfalls kannst Du hier überprüfen, ob durch eine Black- bzw. Whitelist beeinflusst wird, was genau gecrawlt wird („Erweiterte Analyse ->„URLs ausschließen / einschließen“).
