FedMcon:メタコントローラを用いた適応型連邦学習集約方法

Tao SHEN ,  

Zexi LI ,  

Ziyu ZHAO ,  

Didi ZHU ,  

Zheqi LV ,  

Kun KUANG ,  

Shengyu ZHANG ,  

Chao WU ,  

Fei WU ,  

Abstract

連邦学習は新しい機械学習フレームワークとして、プライバシー制約を尊重しながら顧客の非中央化協力によって深いモデルを訓練することができます。クラシックな連邦学習アルゴリズム(FedAvg)では、グローバルモデルはクライアントのローカルデータの量に比例した重み付きの線形組み合わせによって生成されます。ただし、この方法はしばしば期待されるグローバル最適化目標からの逸脱をもたらす異種かつ未知のクライアントデータ分布に直面するときに課題に直面します。線形組み合わせに基づく集約方法は、多様な設定、データ分布、および動的変化に効果的に対処するために連邦学習環境で難点を生じ、収束困難と一般化能力の低下を引き起こします。本稿では、元学習フレームワークに基づく新しいFedMcon集約方法を提案します。小規模の代理データセットでトレーニングされた学習可能な集約器が導入され、さらに対象に合致するグローバルモデルを作成するためにさまざまなローカルモデルを自動的に集約するために使用されます。実験結果は、この方法が極めて非独立なデータを処理し、単一の連邦学習環境で通信効率を19倍向上させることができることを示しています。

Keywords

連邦学習; メタ学習; 適応的な集約

READ MORE