Crawler/Crawling

Der englische Begriff des Crawlens (zu deutsch: krabbeln) leitet sich von der Tätigkeit ab, welche Spinnen zur Fortbewegung durchführen. Da die Crawler auch Spider genannt werden, hat sich diese Bezeichnung für das Durchkämmen des Webs eingebürgert.

Es gibt neben den Crawlern der Suchmaschinen (z.B. den Googlebot oder den Bingbot) noch viele weitere Bots von professionellen Anbietern (z.B. Linkdatenbanken). Weiterhin kann sich jeder mit etwas Programmiererfahrung einen Bot „schreiben“, welcher das Netz oder bestimmte Teile davon (z.B. einzelne Websites) durchkämmt um die daraus gewonnenen Daten für eigene Analysen oder Zwecke zu nutzen.