Wieso dauert das Prüfen der letzten Links länger?

Bei vielen Projekten ist es so, dass der Crawler für die letzten Links deutlich länger braucht als für die Links zuvor. Das hängt damit zusammen, dass wir zum Ende des Crawlvorgangs Links erneut prüfen, die zuvor nicht gefunden werden konnten.

Es werden für eine möglichst vollständige Datengrundlage also alle zuvor nicht erreichbaren Server mit etwas zeitlichem Abstand erneut geprüft – daher die Ladezeit für die letzten paar Prozentpunkte Fortschritt.

Aber keine Sorge: Du kannst das Projekt auch vor Abschluss bereits mit den vorhandenen Daten ansehen und nach Fertigstellung senden wir Dir eine E-Mail-Benachrichtigung.