В последние годы крупномасштабные модели предварительного обучения продемонстрировали свои преимущества в различных задачах. Однако из-за высокой вычислительной нагрузки и больших требований к хранению крупномасштабные модели предварительного обучения трудно развертывать в реальных условиях. Существующие основные методы дистилляции знаний требуют, чтобы учительская и ученическая модели имели одинаковое пространство меток, что ограничивает применение предварительно обученных моделей в реальных сценариях. Чтобы смягчить ограничение различных пространств меток, в этой работе предложен прототипный метод межзадачной дистилляции знаний (ProC-KD), направленный на перенос знаний о сущностных представлениях объектов из учительской сети в различные сценарии последующих задач. Во-первых, для лучшего изучения обобщающих знаний в межзадачных сценариях предложен модуль обучения прототипам, обучающий постоянным сущностным представлениям объектов из учительской сети. Во-вторых, для разнообразных последующих задач предложен модуль адаптивного усиления признаков задачи, который с помощью обученных обобщающих прототипных представлений усиливает признаки ученической сети и направляет обучение ученической сети для улучшения её способности к обобщению. Эксперименты на различных визуальных задачах подтвердили эффективность предлагаемого метода в сценариях межзадачной дистилляции знаний.

дистилляция знаний;межзадачная;обучение прототипам