Beispielhaft dafür, können Blocking Software sein, welche den Zugang unseres Crawling Bots ablehnen/verweigern.

Bitte gehe sicher, dass es unserem Crawler erlaubt ist, Deine Seite zu crawlen. Natürlich kannst Du auch unseren Crawler User Agenten „whitelisten“, sein Name lautet: „OnPageBot“.

War diese Antwort hilfreich für dich?