FedMcon: метод адаптивной агрегации федеративного обучения с использованием метаконтроллера

Tao SHEN ,  

Zexi LI ,  

Ziyu ZHAO ,  

Didi ZHU ,  

Zheqi LV ,  

Kun KUANG ,  

Shengyu ZHANG ,  

Chao WU ,  

Fei WU ,  

Abstract

Федеративное обучение, как новая парадигма машинного обучения, позволяет обучать глубокие модели путем децентрализованного сотрудничества клиентов с учетом ограничений конфиденциальности. В классическом алгоритме федеративного обучения (FedAvg) глобальная модель создается путем взвешенной линейной комбинации локальных моделей, веса которой пропорциональны локальному объему данных клиента. Однако это метод сталкивается с вызовами при конфронтации с гетерогенными и неизвестными распределениями данных клиентов, что часто приводит к отклонению от ожидаемой глобальной оптимизационной цели. Методы, основанные на линейной комбинации, затрудняют эффективное обращение с разнообразными настройками, распределениями данных и динамическими изменениями в среде федеративного обучения, что приводит к трудностям сходимости и понижению обобщающей способности. В данной статье предлагается новый метод агрегации FedMcon, основанный на мета-обучении. Вводится обучаемый агрегатор, обучаемый на небольшом наборе образцовых данных и используемый для автоматической агрегации разнообразных локальных моделей для создания глобальной модели, более соответствующей целям. Результаты экспериментов показывают, что данный метод способен эффективно обрабатывать чрезвычайно неоднородные данные, обеспечивая улучшение в 19 раз в эффективности коммуникации в одной среде федеративного обучения.

Keywords

федеративное обучение; мета-обучение; адаптивная агрегация

READ MORE