Le crawler web est un programme qui traverse automatiquement le Web en téléchargeant les pages et en suivant les liens d’une page à l’autre. Un but général de crawler web est de télécharger n’importe quelle page Web qui peut être consulté à travers les liens. Ce processus est appelé web crawling ou spidering. De nombreux sites, en particulier les moteurs de recherche, utilisent l’araignée comme moyen de fournir des données à jour. Les robots d’exploration Web sont principalement utilisés pour créer une copie de toutes les pages visitées pour un traitement ultérieur par un moteur de recherche qui indexera les pages téléchargées pour fournir des recherches rapides. Crawlers peut également être utilisé pour automatiser les tâches de maintenance sur un site Web, telles que la vérification des liens ou la validation du code HTML. En outre, les chenilles peuvent être utilisées pour recueillir des types spécifiques d’informations à partir de pages Web, telles que la récolte des adresses e-mail (généralement pour le spam). Un crawler web est un type de bot, ou agent logiciel. En général, il commence par une liste d’URL à visiter, appelé les graines. Comme le crawler visite ces URL, il identifie tous les hyperliens dans la page et les ajoute à la liste des URL à visiter, appelé la frontière crawl. Les URL de la frontière sont visitées de manière récursive selon un ensemble de politiques.
historique de la version
- Version 3.19 posté sur 2012-01-15
première sortie publique
Détails du programme
- Catégorie: Utilitaires système > Outils d’automatisation
- Éditeur: VietSpider
- Licence: Gratuit
- Prix: N/A
- Version: 3.19
- Plate-forme: windows