Warum könnt ihr mir nicht die IPs geben, die ihr nutzt um meine Webseite zu crawlt?

Leider können wir Dir keine explizite IP-Adresse nennen. Unsere Crawler kommen aus der Cloud vom Amazon Webservice (AWS) und deren Server stehen in Irland und Deutschland. Wir betreiben tausende kleine Crawler, die je nach Last auf die Projekte verteilt werden. So kommt es vor, dass Du teilweise von uns durch mehrere IP-Adressen gecrawlt wirst.
 
 
Wenn Du whitelisten in Betracht ziehst, gibt es zwei Optionen zur Lösung:
1. Du whitelistest die komplette Range von AWS Ireland. Das sehe ich allerdings immer kritisch, weil dort auch sehr viele andere Bots gerne gehostet werden.
2. Du whitelistet unseren Useragent "Onpagebot" (https://en.onpage.org/bot/). Dann sollte es keine Probleme beim Crawling geben. Du kannst selbstverständlich auch einen eigenen Useragent festlegen.
 
Hier ist die IP-Range von AWS Ireland:
http://docs.aws.amazon.com/general/latest/gr/aws-ip-ranges.html
Haben Sie Fragen? Anfrage einreichen

0 Kommentare

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.
Powered by Zendesk