Das Crawling umfangreicher Webseiten kann viele Stunden, manchmal sogar Tage dauern. Um Dir schnellere Ergebnisse zu liefern, erlaubt der Optimizer nun, Projekte mit mehr als einem Crawler gleichzeitig zu erfassen. In den Crawler-Einstellungen (Einstellungen > Crawler) kannst Du über das Dropdown-Menü ab sofort die Anzahl der parallelen Crawler für jedes Projekt auswählen.
Es sind Werte zwischen einem Crawler und bis zu 10 parallelen Crawlern möglich, wobei standardmäßig 2 Crawler für ein Projekt genutzt werden.
Da unsere Crawler immer abwarten bis die aktuelle Seite ausgeliefert wurde bevor die nächste Seite angefordert wird, ermöglicht ein Anhebung von zwei auf vier Crawlern, doppelt so viele Seiten in der gleichen Zeit abzufragen. In diesem Fall würde jedoch der Server auch doppelt so stark belastet.
