Die Dokumente werden zu einem in der Konfigurationsdatei festgelegten Zeitpunkt oder mehreren Zeitpunkten durchsucht. Es werden die Ordner rekursiv durchsucht, für jeden Ordner werden aus dem Index alle Einträge zu diesem Ordner abgefragt.
Im Index ist unter anderem das Datum der letzten Indizierung je Datei gespeichert. Die Datei wird nur erneut indiziert, wenn LastWriteTime der Datei jünger als LastWriteTime der letzten Indizierung ist oder wenn im Index die Datei noch nicht vorhanden ist.
Für Ordner werden ebenfalls Einträge in SOLR geschrieben. Am Ende eines Ordnerdurchgangs wird überprüft, welche Datei oder Ordner zwar noch in SOLR gespeichert ist, aber nicht mehr im Dateisystem. Diese Dateien oder Ordner werden aus dem SOLR Index gelöscht.
Nach dem ersten Durchlauf des Crawlers wird der Index einmalig optimiert. Dies kann mehr als eine halbe Stunde dauern und die relevanten Datenträger während dieser Zeit stark auslasten.
CFileSystemWatcher
Ein FileSystemWatcher überwacht die gleichen Ordner wie der Crawler. Wenn sich eine Datei ändert, wird die Datei möglichst zeitnah indiziert.