A evitação do desvio de tópico e a habilitação para cruzar túneis são duas dificuldades principais na coleta focada (focused crawling). Para superar o problema do desvio de tópico, projetamos um método abrangente de avaliação de prioridade (CPE) baseado no texto da web, texto âncora e contexto dos hiperlinks, que melhora a avaliação de relevância temática de hiperlinks não visitados. Subsequentemente, propomos um classificador bayesiano melhorado com pesos (BCW), que adiciona pesos às etiquetas das palavras características do classificador bayesiano para aprimorar a precisão da classificação de páginas web. Para cruzar túneis através dos quais algumas páginas web relevantes ao tópico podem ser alcançadas a partir de páginas com baixa relevância, construímos uma tecnologia de segmentação de blocos de conteúdo (CBS) para páginas web baseada no método de retrocesso, que segmenta uma página web em múltiplos blocos e, em seguida, julga a relevância de cada bloco de conteúdo, extraindo hiperlinks com alta relevância abrangente. Finalmente, uma estratégia de coleta focada baseada em BCW que combina as estratégias CPE e CBS (BCW_CC) é proposta e avaliada experimentalmente para coleta focada em dois domínios: desastres de tempestades e esportes. Os resultados demonstram a eficácia do método BCW_CC desenvolvido.

Coletor focado (FC);Classificador bayesiano;Recuperação de informação;Avaliação de prioridade