Capture Global Feature Statistics for One-Shot Federated Learning
作者: Zenghao Guan, Yucan Zhou, Xiaoyan Gu
发布时间: 2025-03-11
来源: arxiv
研究方向: 联邦学习（Federated Learning）
主要内容
该论文提出了一种名为FedCGS的新型联邦学习算法，旨在解决传统联邦学习中通信成本高、易受隐私攻击等问题。FedCGS通过利用预训练模型捕获全局特征统计信息，实现无需训练且对异构性具有抵抗力的单次联邦学习。
主要贡献
1. 提出了FedCGS，一种利用预训练模型以计算高效和隐私保护的方式捕获全局特征统计信息的FL框架。
2. 利用全局特征统计信息，使用无参数的朴素贝叶斯分类器代替可学习的线性分类器，实现具有竞争力的性能和异构性抵抗的单次FL。
3. 提出了个性化单次FL，其中每个客户端通过额外的一次与服务器通信来下载全局统计信息，作为局部训练的特征对齐正则化器。
4. 通过广泛的实验证明了FedCGS在标签偏移和特征偏移设置下提高了通信-精度前沿。
研究方法
1. 利用预训练模型提取特征
2. 捕获全局特征统计信息
3. 使用无参数的朴素贝叶斯分类器作为全局分类器
4. 实现个性化单次FL
5. 使用安全聚合来保护隐私
实验结果
实验结果表明，FedCGS在多个数据异构性设置下都取得了有效的结果。在标签偏移和特征偏移设置中，FedCGS都提高了通信-精度前沿。在个性化单次FL中，FedCGS的性能与FedProto相当，在某些情况下甚至更好。
未来工作
FedCGS主要针对图像分类任务设计，未来可以探索其在更复杂任务中的应用。此外，该方法的性能依赖于预训练模型提取特征的能力，未来可以研究如何提高预训练模型的特征提取能力。