FedMcon: eine durch den Metakontroller erreichte adaptive Aggregationsmethode für föderales Lernen

Tao SHEN ,  

Zexi LI ,  

Ziyu ZHAO ,  

Didi ZHU ,  

Zheqi LV ,  

Kun KUANG ,  

Shengyu ZHANG ,  

Chao WU ,  

Fei WU ,  

Abstract

Als neues Framework für maschinelles Lernen ermöglicht das föderale Lernen das Training tiefer Modelle durch die dezentrale Zusammenarbeit der Kunden unter Einhaltung von Datenschutzbeschränkungen. Im klassischen föderalen Lernalgorithmus (FedAvg) wird das globale Modell durch eine gewichtete lineare Kombination lokaler Modelle generiert, deren Gewichte proportional zum lokalen Datenvolumen des Kunden sind. Diese Methode sieht sich jedoch Herausforderungen gegenüber, wenn sie mit heterogenen und unbekannten Datenverteilungen der Kunden konfrontiert wird, die oft zu einer Abweichung von den erwarteten globalen Optimierungszielen führen. Aggregationsmethoden, die auf linearen Kombinationen beruhen, haben Schwierigkeiten, in föderalen Lernumgebungen mit vielfältigen Einstellungen, Datenverteilungen und dynamischen Änderungen effektiv zu sein, was zu Konvergenzschwierigkeiten und einer Verringerung der Generalisierungsfähigkeit führt. Dieser Artikel stellt eine neue Aggregationsmethode namens FedMcon vor, die auf einem Meta-Lernrahmen basiert. Es wird ein lernfähiger Aggregator eingeführt, der auf einem kleinen Bezugssatz von Agentendaten trainiert wird und zur automatischen Aggregation einer Vielzahl von lokalen Modellen zur Erstellung eines globalen Modells verwendet wird, das den Zielen besser entspricht. Die experimentellen Ergebnisse zeigen, dass diese Methode mit extrem unabhängigen Daten umgehen kann und eine 19-fache Verbesserung der Kommunikationseffizienz in einer einzigen föderalen Lernumgebung erzielen kann.

Keywords

föderales Lernen; Meta-Lernen; adaptive Aggregation

READ MORE