주제 일탈 방지 및 터널 건너기 가능성은 집중 크롤링에서 두 가지 주요 어려움입니다. 주제 일탈 문제를 극복하기 위해 웹 텍스트, 앵커 텍스트, 하이퍼링크 컨텍스트를 기반으로 한 종합 우선순위 평가(CPE) 방법을 설계하여 방문하지 않은 하이퍼링크의 주제 관련성 평가를 개선하였습니다. 이후, 베이지안 분류기의 특징 단어에 레이블 가중치를 추가하여 웹페이지 분류 정확도를 향상시키는 가중치 부여 베이지안 분류기(BCW)를 제안합니다. 저관련성 웹페이지에서 주제 관련 웹페이지로 도달할 수 있는 터널을 통과하기 위해 백트래킹 방법을 기반으로 한 콘텐츠 블록 분할(CBS) 기술을 구축하여 웹페이지를 여러 블록으로 분할하고 각 콘텐츠 블록의 관련성을 판단하여 종합 관련성이 높은 하이퍼링크를 추출합니다. 마지막으로 CPE와 CBS 전략을 결합한 BCW 기반 집중 크롤링 전략(BCW_CC)을 제안하고, 폭우 재해 및 스포츠 두 분야에서 집중 크롤링 실험 평가를 수행하였습니다. 결과는 개발된 BCW_CC 방법의 효율성을 입증합니다.

집중 크롤러(FC);베이지안 분류기;정보 검색;우선순위 평가