Du hast voller Vorfreude einen Onpage-Crawl für dein Projekt gestartet, aber der Vorgang wurde nach kurzer Zeit unerwartet gestoppt? Im Dashboard siehst du nun die Meldung: „Crawl abgebrochen – Timeout“.
Ein plötzlicher Abbruch ist ärgerlich, dient aber in erster Linie dem Schutz deiner Website. Hier erklären wir dir, was ein Timeout ist und wie du deinen Crawl doch noch erfolgreich abschließen kannst.
Die Ursache: Dein Server antwortet nicht (rechtzeitig)
Ein „Timeout“ (auf Deutsch: Zeitüberschreitung) ist eine Schutzfunktion. Wenn unser SISTRIX-Bot eine URL auf deiner Website abrufen möchte, „klopft“ er bei deinem Server an und wartet auf die Daten.
Antwortet dein Server nicht innerhalb eines festgelegten Zeitfensters (in der Regel 30 Sekunden), wertet unser Bot dies als Fehlschlag. Passiert dies bei mehreren URLs hintereinander, zieht SISTRIX die Reißleine und bricht den gesamten Crawl ab.
Warum tun wir das? Wenn ein Server so extrem langsam antwortet, steht er meist kurz vor dem Absturz. Ein Abbruch verhindert, dass wir deine Website für echte Besucher komplett lahmlegen.
Die Lösung: 3 Wege zum erfolgreichen Crawl
Ein Timeout kann verschiedene Ursachen haben. Mit den folgenden drei Schritten löst du das Problem in den allermeisten Fällen:
1. Die Crawl-Geschwindigkeit drosseln (Häufigste Ursache) Oft ist der Server schlichtweg überfordert, weil unser Bot zu viele Seiten gleichzeitig anfragt. Der Server rechnet und rechnet, schafft es aber nicht, die Antwort rechtzeitig zurückzusenden.
- Die Lösung: Gehe in die Projekt-Einstellungen und reduziere die Anzahl der gleichzeitigen Crawler oder aktiviere die automatische Drosselung (Autothrottle).
- Wie genau das funktioniert, erklären wir dir Schritt für Schritt in diesem Artikel: Warum meldet der Crawler massenhaft 5XX Server-Fehler?
2. Lautlose Blockade durch eine Firewall prüfen Nicht jede Firewall schickt unserem Bot bei einer Sperrung einen eindeutigen 403 Forbidden-Fehler zurück. Manche Sicherheitssysteme (wie Cloudflare oder strenge Server-Firewalls) lassen unerwünschte Anfragen einfach „ins Leere“ laufen (sogenannter Drop). Unser Bot wartet dann vergeblich auf eine Antwort und bricht wegen eines Timeouts ab.
- Die Lösung: Bitte deine IT-Abteilung, die IP-Adressen und den User-Agent von SISTRIX auf die Whitelist zu setzen.
- Die genauen Daten zum Kopieren für deine IT findest du hier: SISTRIX wird blockiert (403 Forbidden/Firewall)
3. Temporäre Überlastung umgehen (Der Nacht-Crawl) Manchmal hast du einfach einen schlechten Zeitpunkt erwischt. Wenn in deinem Onlineshop gerade ein großer Sale läuft oder dein Hosting-Anbieter temporäre Netzwerkprobleme hat, kommt es schnell zu Timeouts.
- Die Lösung: Verlege deinen Crawl auf eine ruhigere Uhrzeit. Nutze dafür die Automatisierung in deinen Projekt-Einstellungen. Stelle den Scheduler beispielsweise so ein, dass der Crawl immer am Wochenende oder tief in der Nacht (z. B. um 03:00 Uhr) startet, wenn dein Server kaum anderweitigen Traffic verarbeiten muss.
Sobald du die Geschwindigkeit angepasst oder die Whitelist-Freigabe deiner IT erhalten hast, kannst du den abgebrochenen Crawl in der Projektübersicht über den Button „Crawl jetzt starten“ einfach von vorn beginnen lassen!
