In den letzten Jahren haben groß angelegte vortrainierte Modelle ihre Vorteile in verschiedenen Aufgaben gezeigt. Aufgrund der hohen Rechen- und Speicheranforderungen ist es jedoch schwierig, groß angelegte vortrainierte Modelle in realen Szenarien einzusetzen. Die derzeit gängigen Methoden der Wissensdistillation erfordern, dass Lehrer- und Schülermodelle denselben Labelraum teilen, was die Anwendung vortrainierter Modelle in realen Szenarien einschränkt. Um die Einschränkung unterschiedlicher Labelräume zu mildern, schlägt dieser Artikel eine prototypgeführte aufgabenübergreifende Wissensdistillationsmethode (ProC-KD) vor, die darauf abzielt, das wesentliche Objektrepräsentationswissen des Lehrernetzwerks auf verschiedene nachgelagerte Aufgabe-Szenarien zu übertragen. Erstens wird zur besseren Erlernung generalisierbaren Wissens in aufgabenübergreifenden Szenarien ein Prototyp-Lernmodul vorgeschlagen, das unveränderliche wesentliche Objektrepräsentationen aus dem Lehrernetzwerk lernt. Zweitens wird für vielfältige nachgelagerte Aufgaben ein aufgabenspezifisches adaptives Merkmalsverstärkungsmodul vorgeschlagen, das die Merkmale des Schülernetzwerks durch erlernte generalisierte Prototypdarstellungen verstärkt und das Lernen des Schülernetzwerks leitet, um dessen Generalisierungsfähigkeit zu verbessern. Experimente zu verschiedenen visuellen Aufgaben bestätigen die Wirksamkeit der vorgeschlagenen Methode in aufgabenübergreifenden Wissensdistillationsszenarien.

Wissensdistillation;aufgabenübergreifend;Prototyp-Lernen