Die Vermeidung von Themenabweichungen und das Ermöglichen des Durchquerens von Tunneln sind zwei Hauptschwierigkeiten beim fokussierten Crawling. Um das Problem der Themenabweichung zu überwinden, entwerfen wir eine umfassende Prioritätsbewertungsmethode (CPE), die auf Webtext, Ankertext und Kontext von Hyperlinks basiert und die Themenrelevanzbewertung unbesuchter Hyperlinks verbessert. Anschließend schlagen wir einen verbesserten Bayesschen Klassifikator mit Gewichten (BCW) vor, der Labelgewichte zu den Merkwörtern des Bayesschen Klassifikators hinzufügt, um die Genauigkeit der Webseitenklassifikation zu verbessern. Um Tunnel zu durchqueren, durch die einige themenrelevante Webseiten von Webseiten mit geringer Relevanz erreichbar sind, konstruieren wir eine Content-Block-Segmentierungstechnologie (CBS) für Webseiten basierend auf der Backtracking-Methode, die eine Webseite in mehrere Blöcke segmentiert und dann die Relevanz jedes Inhaltsblocks beurteilt und Hyperlinks mit hoher umfassender Relevanz extrahiert. Schließlich wird eine auf BCW basierende fokussierte Crawling-Strategie vorgestellt, die die CPE- und CBS-Strategien kombiniert (BCW_CC) und experimentell für fokussiertes Crawling in zwei Domänen evaluiert wird: Regensturmkatastrophen und Sport. Die Ergebnisse zeigen die Wirksamkeit der entwickelten BCW_CC-Methode.

Fokussierter Crawler (FC);Bayesscher Klassifikator;Information Retrieval;Prioritätsbewertung