Formation fédérée équilibrée entre généralisation et personnalisation

Ruipeng ZHANG ,  

Ziqing FAN ,  

Jiangchao YAO ,  

Ya ZHANG ,  

Yanfeng WANG ,  

Abstract

En raison des changements majeurs induits par le modèle de base dans le domaine de l'intelligence artificielle, l'apprentissage fédéré inter-centres suscite de plus en plus d'intérêt en raison de ses données relativement abondantes et de sa puissance informatique. Contrairement à l'apprentissage fédéré inter-appareils, le problème de l'hétérogénéité des données dans l'apprentissage fédéré inter-centres est principalement causé par les données massives entre les clients et le décalage de la distribution, ce qui nécessite des algorithmes pour équilibrer la personnalisation et la généralisation. Cet article vise à résoudre le défi de l'apprentissage fédéré en équilibrant la généralisation et la personnalisation en renforçant la capacité de généralisation du modèle global dans divers domaines et en améliorant les performances de la formation locale du client. En étudiant la justice de la distribution des performances dans le système fédéré, la recherche ultérieure explore la relation entre l'erreur de généralisation établie dans les études antérieures et les poids d'agrégation, proposant une méthode d'apprentissage fédéré prenant en compte l'équité de la généralisation et de la personnalisation (FFT-GP). FFT-GP combine une stratégie de perception de l'équité dans l'agrégation pour minimiser la variance de l'erreur de généralisation entre les clients de formation locaux et une stratégie d'apprentissage méta pour maintenir la conformité entre la formation locale et la distribution globale des caractéristiques du modèle, équilibrant ainsi la généralisation et la personnalisation. De nombreux résultats expérimentaux montrent que par rapport aux modèles existants, FFT-GP présente des performances exceptionnelles, démontrant son potentiel pour améliorer les performances de la formation fédérée dans divers scénarios pratiques.

Keywords

Formation fédérée et généralisation; Équité de la distribution des performances; Décalage de domaine

READ MORE