Slurp was de spider, bot of crawler van zoekmachine Yahoo!. Tegenwoordig gebruikt Yahoo! een crawler van Microsoft, Bingbot. Een crawler zoals Yahoo! Slurp of Bingbot is een computerprogramma waarmee een zoekmachine de inhoud leest en kopieert van websites waar zij toegang tot krijgen. Met deze informatie kan Yahoo! (en andere zoekmachines) de zoekresultaten opbouwen.
Een zoekmachine slaat dus een kopie op van een website. Wanneer jij jouw website aanpast, dan moet je dus zorgen dat de crawler opnieuw jouw website komt ‘crawlen’, zodat de nieuwste versie gebruikt wordt voor het bepalen van de zoekresultaten.
Zoals eerder genoemd, gebruikt Yahoo! tegenwoordig de crawler van Microsoft, Bingbot. De meest bekende zoekmachines en de bijbehorende crawlers, bots of spiders zijn:
Yahoo! | Bingbot (voorheen Slurp) |
Googlebot | |
Bing/Microsoft | Bingbot/MSN Bot |
Yandex (Rusland) | Yandex Bot |
Baidu (China) | Baidu Spider |