Ces dernières années, les modèles de pré-entraînement à grande échelle ont démontré leurs avantages dans diverses tâches. Cependant, en raison des lourdes charges de calcul et des énormes besoins de stockage, il est difficile de déployer ces modèles dans des scénarios réels. Les méthodes courantes de distillation des connaissances exigent que le modèle enseignant et le modèle étudiant partagent le même espace d’étiquettes, ce qui limite l’application des modèles pré-entraînés dans des scénarios réels. Pour atténuer la contrainte des différents espaces d’étiquettes, cet article propose une méthode de distillation des connaissances inter-tâches guidée par des prototypes (ProC-KD), visant à transférer les connaissances intrinsèques de représentation d’objets du réseau enseignant à divers scénarios de tâches en aval. Premièrement, pour mieux apprendre les connaissances généralisables dans les scénarios inter-tâches, un module d’apprentissage de prototypes est proposé pour apprendre une représentation invariante des objets à partir du réseau enseignant. Deuxièmement, pour des tâches en aval diverses, un module d’amélioration adaptative des caractéristiques de tâche est proposé pour renforcer les caractéristiques du réseau étudiant via les représentations de prototypes généralisables apprises et guider l’apprentissage du réseau étudiant afin d’améliorer sa capacité de généralisation. Des expériences sur différentes tâches visuelles ont validé l’efficacité de la méthode proposée dans les scénarios de distillation des connaissances inter-tâches.

distillation des connaissances;inter-tâches;apprentissage par prototypes