FedConv: A Learning-on-Model Paradigm for Heterogeneous Federated Clients
作者: Leming Shen, Qiang Yang, Kaiyan Cui, Yuanqing Zheng, Xiao-Yong Wei, Jianwei Liu, Jinsong Han
发布时间: 2025-03-03
来源: arxiv
研究方向: 联邦学习，模型异构性，模型压缩
主要内容
FedConv是一种针对异构联邦客户端的联邦学习框架，旨在通过提供异构定制子模型来最小化资源受限客户端的计算和内存负担。
主要贡献
1. FedConv是第一个基于卷积操作的模型压缩方法，能够有效地压缩全局模型，同时保留其关键信息，而不会给资源受限的移动客户端带来额外负担。
2. FedConv处理异构模型的新技术，包括卷积压缩模块、转置卷积膨胀方法和加权平均聚合方法。
3. FedConv在Flower框架上实现，并基于Flower和六个公共数据集进行了综合评估，结果表明FedConv在推理精度、内存和通信成本方面优于最先进的方法。
研究方法
1. 卷积压缩：通过在全局模型参数上应用卷积操作来生成异构子模型。
2. 转置卷积膨胀：将异构客户端模型转换为具有统一大小的大模型。
3. 加权平均聚合：利用客户端模型的个性化信息来更新全局模型。
4. 学习-on-模型范式：将模型参数作为输入，并使用压缩层生成子模型参数。
实验结果
FedConv在六个数据集上进行了广泛的实验，结果表明FedConv在模型精度（平均提高35%）、计算和通信开销（分别减少33%和25%）方面优于最先进的FL系统。
未来工作
FedConv的学习-on-模型范式值得进一步探索，并可能对其他FL任务产生潜在的利益，其中可以生成异构子模型以保留全局模型的信息。