Fairness-guided federated training for generalization and personalization in cross-silo federated learning

Ruipeng ZHANG ,  

Ziqing FAN ,  

Jiangchao YAO ,  

Ya ZHANG ,  

Yanfeng WANG ,  

Abstract

Debido a los importantes cambios provocados por el modelo base en el campo de la inteligencia artificial, el interés en el aprendizaje federado entre centros está aumentando debido a sus datos relativamente ricos y a su poderoso poder de cálculo. A diferencia del aprendizaje federado entre dispositivos, el problema de la heterogeneidad de los datos en el aprendizaje federado entre centros está causado principalmente por los datos masivos entre los clientes y el sesgo de distribución, lo que obliga al algoritmo a considerar un equilibrio entre la personalización y la generalización. Este artículo tiene como objetivo resolver el problema del aprendizaje federado entre centros, que se manifiesta en la ampliación de la capacidad de generalización del modelo global y en la mejora del rendimiento del cliente de entrenamiento local personalizado. Al estudiar la equidad en la distribución del rendimiento en el sistema federado, se examina la relación entre el error de generalización y los pesos de agregación en la investigación anterior, y se propone un método de orientación de la equidad de entrenamiento federal equilibrado (FFT-GP). FFT-GP combina una estrategia de agregación consciente con el fin de minimizar la varianza del error de generalización entre los clientes de entrenamiento y una estrategia de metaaprendizaje para mantener la consistencia en la distribución de características del modelo local con el modelo global, logrando así un equilibrio entre la generalización y la personalización. Los extensos resultados experimentales muestran que FFT-GP tiene un efecto sobresaliente en comparación con los modelos existentes y demuestra su potencial para mejorar el rendimiento del entrenamiento federado en una variedad de escenarios prácticos.

Keywords

Generalized and personalized federated learning;Performance distribution fairness;Domain shift

READ MORE