L’évitement de la dérive thématique et la possibilité de franchir des tunnels sont deux principales difficultés dans le crawling ciblé. Pour surmonter le problème de la dérive thématique, nous concevons une méthode d’évaluation complète des priorités (CPE) basée sur le texte web, le texte d’ancrage, et le contexte des hyperliens, qui améliore l’évaluation de la pertinence thématique des hyperliens non visités. Par la suite, nous proposons un classificateur bayésien amélioré avec poids (BCW), qui ajoute des poids aux mots caractéristiques du classificateur bayésien pour améliorer la précision de la classification des pages web. Pour franchir des tunnels par lesquels certaines pages web pertinentes peuvent être atteintes depuis des pages à faible pertinence, nous construisons une technologie de segmentation des blocs de contenu (CBS) pour les pages web basée sur la méthode de retour arrière, qui segmente une page web en plusieurs blocs puis juge la pertinence de chaque bloc de contenu, extrayant les hyperliens à haute pertinence globale. Enfin, une stratégie de crawling ciblé basée sur BCW combinant les stratégies CPE et CBS (BCW_CC) est proposée et évaluée expérimentalement pour le crawling ciblé dans deux domaines : les catastrophes de tempêtes de pluie et le sport. Les résultats démontrent l’efficacité de la méthode développée BCW_CC.
Keywords
Crawler ciblé (FC);Classificateur bayésien;Recherche d’information;Évaluation des priorités