En los últimos años, los modelos de preentrenamiento a gran escala han demostrado sus ventajas en diversas tareas. Sin embargo, debido a la pesada carga computacional y a los enormes requerimientos de almacenamiento, es difícil desplegar estos modelos en escenarios reales. Los métodos principales de destilación de conocimiento requieren que el modelo maestro y el modelo estudiante compartan el mismo espacio de etiquetas, lo que limita la aplicación de modelos preentrenados en escenarios reales. Para aliviar la restricción de diferentes espacios de etiquetas, este trabajo propone un método de destilación de conocimiento multitarea guiado por prototipos (ProC-KD), cuyo objetivo es transferir el conocimiento representacional esencial de objetos de la red maestra a diversos escenarios de tareas posteriores. Primero, para aprender mejor el conocimiento generalizable en escenarios multitarea, se propone un módulo de aprendizaje de prototipos que aprende representaciones invariantes de objetos desde la red maestra. Segundo, para diversas tareas posteriores, se propone un módulo de mejora de características adaptativo a la tarea que refuerza las características de la red estudiante a través de las representaciones prototípicas generalizadas aprendidas y guía el aprendizaje de la red estudiante para mejorar su capacidad de generalización. Los experimentos en diferentes tareas visuales validaron la efectividad del método propuesto en escenarios de destilación de conocimiento multitarea.

destilación de conocimiento;multitarea;aprendizaje de prototipos