Hast du deine Staging-Umgebung via .htaccess durch ein Passwort geschützt, kannst du die Seite dennoch crawlen. Dazu musst du dem Crawler nur die Zugangsdaten mitteilen, damit er sich dem Server gegenüber autorisieren kann.
In den Einstellungen des Projekts findest du ( unter “Einstellungen > Crawling > Crawling Einstellungen”) den Punkt “HTTP Login Daten”. Hier trägst du den Benutzernamen und das Passwort ein, welches der Crawler verwenden soll.
Klicke anschließend noch einmal auf “Prüfe Daten” um Benutzernamen und Passwort zu testen und speichere die Änderung der Einstellungen.
