Nos últimos anos, modelos pré-treinados em larga escala têm demonstrado suas vantagens em diversas tarefas. No entanto, devido ao pesado custo computacional e às grandes demandas de armazenamento, é difícil implantar modelos pré-treinados em larga escala em cenários reais. Os métodos convencionais de destilação de conhecimento exigem que o modelo professor e o modelo aluno compartilhem o mesmo espaço de rótulos, o que limita a aplicação de modelos pré-treinados em cenários reais. Para aliviar a restrição de espaços de rótulos diferentes, este artigo propõe um método de destilação de conhecimento entre tarefas guiado por protótipos (ProC-KD), que visa transferir o conhecimento essencial de representação de objetos da rede do professor para vários cenários de tarefas a jusante. Primeiro, para aprender melhor o conhecimento generalizável em cenários entre tarefas, propõe-se um módulo de aprendizado de protótipos para aprender representações invariantes de objetos a partir da rede do professor. Em segundo lugar, para tarefas a jusante variadas, propõe-se um módulo de aprimoramento adaptativo de características específicas da tarefa, que reforça as características da rede do aluno por meio das representações de protótipos generalizáveis aprendidas e orienta a aprendizagem da rede do aluno para melhorar sua capacidade de generalização. Experimentos em diferentes tarefas visuais validaram a eficácia do método proposto em cenários de destilação de conhecimento entre tarefas.
Keywords
destilação de conhecimento;entre tarefas;aprendizado de protótipos