Personalized Federated Learning with Layer-Wise Feature Transformation via Meta-Learning

计算机科学 特征(语言学) 转化(遗传学) 图层(电子) 元学习(计算机科学) 人工智能 特征学习 机器学习 模式识别(心理学) 生物 哲学 生物化学 语言学 化学 管理 有机化学 经济 基因 任务(项目管理)
作者
Jingke Tu,Jiaming Huang,Lei Yang,Wanyu Lin
出处
期刊:ACM Transactions on Knowledge Discovery From Data [Association for Computing Machinery]
卷期号:18 (4): 1-21 被引量:21
标识
DOI:10.1145/3638252
摘要

Federated learning enables multiple clients to collaboratively learn machine learning models in a privacy-preserving manner. However, in real-world scenarios, a key challenge encountered in federated learning is the statistical heterogeneity among clients. Existing work mainly focused on a single global model shared across the clients, making it hard to generalize well to all clients due to the large discrepancy in the data distributions. To address this challenge, we propose pFedLT , a novel approach that can adapt the single global model to different data distributions. Specifically, we propose to perform a pluggable layer-wise transformation during the local update phase based on scaling and shifting operations. In particular, these operations are learned with a meta-learning strategy. By doing so, pFedLT can capture the diversity of data distribution among clients, therefore, can generalize well even when the data distributions among clients exhibit high statistical heterogeneity. We conduct extensive experiments on synthetic and real-world datasets (MNIST, Fashion_MNIST, CIFAR-10, and Office+Caltech10) under different Non-IID settings. Experimental results demonstrate that pFedLT significantly improves the model accuracy by up to 11.67% and reduces the communication costs compared with state-of-the-art approaches.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
任罗川完成签到,获得积分10
刚刚
goblin发布了新的文献求助10
刚刚
刚刚
wanci的应助被Hdk采纳,获得10
刚刚
1秒前
1秒前
CodeCraft的应助被卓卓卓采纳,获得10
1秒前
我是老大的应助被u0u0uu0采纳,获得10
2秒前
2秒前
3秒前
3秒前
余香的应助被CTx采纳,获得10
3秒前
酷波er的应助被清风采纳,获得10
4秒前
梅槑发布了新的文献求助10
4秒前
烟花的应助被gfhdf采纳,获得10
4秒前
星辰大海的应助被gfhdf采纳,获得10
4秒前
领导范儿的应助被gfhdf采纳,获得10
4秒前
qianzhihe发布了新的文献求助10
4秒前
我是老大的应助被gfhdf采纳,获得10
4秒前
4秒前
大模型的应助被gfhdf采纳,获得10
5秒前
所所的应助被gfhdf采纳,获得10
5秒前
小蘑菇的应助被gfhdf采纳,获得10
5秒前
科目三的应助被gfhdf采纳,获得10
5秒前
369ninja发布了新的文献求助10
5秒前
5秒前
乐乐的应助被gfhdf采纳,获得10
5秒前
HCl完成签到,获得积分10
5秒前
隐形曼青的应助被gfhdf采纳,获得10
5秒前
5秒前
YYY发布了新的文献求助10
6秒前
pokiy发布了新的文献求助10
6秒前
6秒前
靓丽白风完成签到,获得积分10
6秒前
6秒前
huateng发布了新的文献求助10
6秒前
hinsir完成签到,获得积分20
7秒前
科学家发布了新的文献求助10
7秒前
Juvenilesy完成签到,获得积分0
8秒前
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181279
求助须知:如何正确求助?哪些是违规求助? 9571198
关于积分的说明 21817073
捐赠科研通 7777612
什么是DOI,文献DOI怎么找? 3433454
关于科研通互助平台的介绍 2557692
邀请新用户注册赠送积分活动 2479519