Управляемое обучение федерации с учетом баланса между обобщением и персонализацией

Ruipeng ZHANG ,  

Ziqing FAN ,  

Jiangchao YAO ,  

Ya ZHANG ,  

Yanfeng WANG ,  

Abstract

В связи с кардинальными изменениями, которые навела базовая модель в области искусственного интеллекта, межцентровое федеративное обучение все больше привлекает внимание из-за своих относительно обширных данных и мощных вычислительных возможностей. В отличие от межустройственного федеративного обучения, проблема гетерогенности данных в межцентровом федеративном обучении в основном вызвана масштабными данными между клиентами и смещением распределения, что требует алгоритмов учета баланса между персонализацией и обобщением. Настоящая статья нацелена на решение проблемы федеративного обучения с учетом обобщения и персонализации путем улучшения способности глобальной модели к обобщению в различных областях и повышения производительности локального обучающего клиента. Через изучение справедливости распределения производительности в федеративной системе дальнейшее исследование проводит взаимосвязь между ошибкой обобщения, установленной в прошлых исследованиях, и весами агрегации, предлагая метод федеративного обучения с учетом справедливости обобщения и персонализации (FFT-GP). FFT-GP комбинирует стратегию восприятия справедливости агрегации для минимизации дисперсии ошибки обобщения между локальными обучающимися клиентами и стратегию мета-обучения для сохранения соответствия между местным обучением и глобальным распределением признаков модели, тем самым сбалансировав обобщение и персонализацию. Обширный опыт показывает, что по сравнению с существующими моделями FFT-GP обладает выдающимися результатами, демонстрируя свой потенциал в улучшении обучающего обучения федерации в различных практических сценариях.

Keywords

Межцентровое федеративное обучение и обобщение; Справедливость распределения производительности; Отклонение области

READ MORE