HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast
作者: Yiting Zheng, Bohan Lin, Jinqian Chen, Jihua Zhu
发布时间: 2025-03-11
来源: arxiv
研究方向: 联邦学习（Federated Learning）
主要内容
本文研究了联邦学习在异构数据和环境下的性能问题，特别是针对低参与率导致的性能下降。提出了一种名为HFedCKD的联邦学习框架，通过数据无关的知识蒸馏和双向对比学习来提高模型性能和稳定性。
主要贡献
1. 探索了有限通信带宽在异构数据和环境下的影响，发现低参与率会显著降低模型性能。
2. 引入了逆概率加权蒸馏（IPWD）策略，通过动态分配权重来平衡不同客户的贡献。
3. 设计了分层对比学习（HCL），通过编码器和解码器实现双向对比学习，提高全局模型特征表达能力和客户端的个性化决策能力。
4. 在图像和物联网数据集上进行了实验，验证了HFedCKD框架的有效性和鲁棒性。
研究方法
1. 数据无关的知识蒸馏
2. 逆概率加权蒸馏（IPWD）
3. 分层对比学习（HCL）
4. 双向对比学习
实验结果
实验结果表明，HFedCKD框架在低参与率环境下，能够有效抵抗低参与率对模型性能的损害，实现与不同客户端的高效协作，并且更符合实际应用需求。
未来工作
未来工作可以进一步研究如何在更广泛的场景下应用HFedCKD框架，以及如何进一步提高其在大规模异构环境下的性能。