Du hast einen Crawl gestartet, aber das Tool meldet schon nach kurzer Zeit, dass es fertig ist? Im Bericht siehst du, dass exakt 50, 100 oder 1.000 Seiten gecrawlt wurden, obwohl deine Website viel größer ist?
Das ist kein Fehler des Crawlers. In den meisten Fällen greift hier ein Schutzmechanismus aus deinen eigenen Projekt-Einstellungen: Das URL-Limit.
Warum gibt es ein Limit? Wenn du ein neues Projekt anlegst, setzen wir standardmäßig ein Limit (oft 10.000 URLs). Das verhindert, dass der Crawler versehentlich in sogenannte „Spider-Traps“ (z. B. unendlich generierte Kalender-Seiten) tappt und dein gesamtes monatliches Crawl-Budget an einem Tag aufbraucht. Manchmal wird dieses Limit beim Einrichten auch manuell sehr niedrig gesetzt – und später vergessen.
So behebst du das Problem: Du kannst das URL-Limit deines Projekts jederzeit mit wenigen Klicks anpassen:
- Öffne dein Onpage-Projekt und klicke oben rechts auf das Zahnrad (⚙️) -> Einstellungen.
- Wähle im linken Menü Onpage-Crawler.
- Scrolle zum Feld Crawling-Umfang.
- Erhöhe die Zahl auf einen Wert, der leicht über der tatsächlichen Seitenzahl deiner Domain liegt (z. B. 5.000, wenn deine Seite ca. 4.000 URLs hat).
- Speichere die Einstellungen und starte den Crawl neu. Der Crawler wird nun deutlich tiefer in deine Website vordringen.
