data > opinion

Tom Alby

Crawler


Sie sind hier: start / lehrveranstaltungen / glossar / crawler /

Ein Crawler ist eine Software, die Webseiten im Internet erfasst. Früher wurde oft das Bild einer Spinne bemüht, die sich durch das Netz hangelt, aber tatsächlich ist ein Crawler eher ein faules Stück Software, das auf einem Server sitzt und Webseiten von anderen Servern anfordert. Eine durch einen Crawler erfasste Seite wird in der Regel nicht unbedingt sofort indexiert, auch wird nicht jede Änderung an einer Seite sofort von einem Crawler registriert. So können Minuten, aber auch mehrere Wochen vergehen, bis eine Änderung erfasst worden ist. Manchmal werden Crawler auch als Bots bezeichnet.

Tags: