Wo ändere ich den user-agent und das crawler Land?

Falls der crawler nach einer längeren Zeit keine URLs finden kann gibt es die Möglichkeit den User-Agent sowie das Crawler Land zu ändern, dies kann in manchen Fällen helfen.

Um zu überprüfen ob der laufende Crawl URLs finden konnte öffne die Projekt Einstellungen -> Crawl history

UA2.png

Falls der Crawler nach einer längeren Zeit keine URLs gefunden hat kannst Du ihn abbrechen und es mit anderem User-Agent und/oder Crawler Land versuchen:

UA.png

Die Einstellung "Crawler Land" legt das Serverzentrum fest auf dem der Crawler ausgeführt wird.

Die Option User-Agent legt den Name des Crawlers fest, Du kannst diesen zum Beispiel in firefox umbenennen.

Falls Du sicherstellen möchtest dass nur unser Crawler Deine Domain analysiert kannst Du einen individuellen namen vergeben, beispielsweise crawler123abc. 

 

Diese Einstellungen sind nur in den Accounts Pro und höher möglich!

 

Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk