Un crawler, aussi appelé robot d'exploration ou spider, est un logiciel utilisé par les moteurs de recherche pour parcourir et indexer les pages web sur internet. Son rôle principal est de visiter les sites, de lire leur contenu et de collecter des informations pour construire un index, que les moteurs de recherche utilisent pour afficher des résultats pertinents.
Le crawler suit les liens d'une page à l'autre et rassemble des données sur le contenu, la structure et d'autres éléments importants de chaque page. Ces données aident les moteurs de recherche à comprendre le sujet d'une page pour la classer correctement dans les résultats. Grâce aux crawlers, les moteurs de recherche disposent d'informations à jour et peuvent proposer des résultats justes et pertinents.