최근 몇 년간 대규모 사전 학습 모델은 다양한 작업에서 그 우수성을 보여주었다. 그러나 무거운 계산량과 큰 저장 요구로 인해 대규모 사전 학습 모델을 실제 환경에 배포하기 어렵다. 기존의 주류 지식 증류 방법은 교사 모델과 학생 모델이 동일한 레이블 공간을 공유해야 하는데, 이는 사전 학습 모델의 실제 환경 적용을 제한한다. 다른 레이블 공간의 제약을 완화하기 위해, 본 논문은 프로토타입 안내 크로스 태스크 지식 증류(ProC-KD) 방법을 제안하며, 이는 교사 네트워크의 본질적 객체 표현 지식을 다양한 다운스트림 작업 시나리오로 전이하는 것을 목표로 한다. 먼저, 크로스 태스크 시나리오에서 일반화 지식을 보다 잘 학습하기 위해 교사 네트워크에서 객체의 불변 본질 표현을 학습하는 프로토타입 학습 모듈을 제안한다. 둘째, 다양한 다운스트림 작업에 대해 학습된 일반화 프로토타입 표현을 통해 학생 네트워크의 특성을 강화하고 학생 네트워크의 학습을 안내하는 태스크 적응 특성 강화 모듈을 제안하여 일반화 능력을 향상시킨다. 다양한 시각 작업에서의 실험을 통해 제안된 방법이 크로스 태스크 지식 증류 시나리오에서 효과적임을 검증하였다.

지식 증류;크로스 태스크;프로토타입 학습