Fairness-guided federated training for generalization and personalization in cross-silo federated learning

Ruipeng ZHANG ,  

Ziqing FAN ,  

Jiangchao YAO ,  

Ya ZHANG ,  

Yanfeng WANG ,  

Abstract

В связи с значительными изменениями, вызванными базовой моделью в области искусственного интеллекта, увеличивается интерес к федеративному обучению между центрами из-за его относительно богатых данных и мощных вычислительных возможностей. В отличие от федеративного обучения между устройствами, проблема гетерогенности данных в федеративном обучении между центрами в основном вызвана масштабными данными клиентов и смещением распределения, что требует алгоритму учитывать баланс между персонализацией и обобщением. Цель данной статьи заключается в решении проблемы обучения федеративного обучения между центрами, что выражается в расширении обобщающей способности глобальной модели и улучшении производительности персонализированного обучающего клиента. Исследовав справедливость распределения производительности в федеративной системе, далее рассматривается связь между обобщающей ошибкой и весами агрегации, предлагается метод направленного на справедливость сбалансированного обучения федерации (FFT-GP). FFT-GP объединяет осознанную стратегию агрегации с целью уменьшить разброс обобщающей ошибки между обучающими клиентами и стратегию мета-обучения для сохранения согласованности локального обучения с распределением признаков глобальной модели, тем самым достигая баланса между обобщением и персонализацией. Обширные результаты экспериментов показывают, что FFT-GP имеет выдающийся эффект по сравнению с существующими моделями и демонстрирует свои возможности в улучшении производительности обучения федерации в различных практических сценариях.

Keywords

Generalized and personalized federated learning;Performance distribution fairness;Domain shift

READ MORE