В последние годы крупномасштабные предварительно обученные модели проявили свои преимущества в различных задачах. Однако из-за тяжелой вычислительной нагрузки и больших требований к хранению крупномасштабные предварительно обученные модели сложно развернуть в реальных сценариях. Существующие основные методы дистилляции знаний требуют, чтобы модели учителя и ученика использовали одно и то же пространство меток, что ограничивает применение предварительно обученных моделей в реальных сценариях. Чтобы смягчить ограничения разных пространств меток, в данной статье предлагается метод дистилляции знаний на основе прототипов (ProC-KD), целью которого является перенос основных знаний представления объектов из сети учителя в разнообразные сценарии вторичных задач. Во-первых, для улучшения обучения общих знаний в разнообразных сценариях задач предлагается модуль обучения прототипов, который изучает неизменные представления объектов из сети учителя. Во-вторых, для разнообразных вторичных задач предлагается модуль адаптивного усиления особенностей, который путем усвоения общих представлений прототипов усиливает особенности сети ученика и направляет обучение сети ученика с целью повышения остойчивости к обобщению. Эксперименты на различных зрительных задачах подтверждают эффективность предлагаемого подхода в сценариях дистилляции знаний на основе вторичных задач.

Knowledge distillation;Cross-task;Prototype learning