Project Settings

Übersicht

• ★ Wie kann ich URLs einschließen und ausschließen?
• URLs ausschließen / einschließen (Blacklist & Whitelist)
• Wo ändere ich den user-agent und das crawler Land?
• Wie kann ich eine sitemap.xml hinzufügen?
• Wie beseitige ich "defekte Bilder"?
• Wie kann ich die Crawl Geschwindigkeit verändern?
Alle 10 Beiträge anzeigen