BTFL: A Bayesian-based Test-Time Generalization Method for Internal and External Data Distributions in Federated learning
作者: Yu Zhou, Bingyan Liu
发布时间: 2025-03-11
来源: arxiv
研究方向: 联邦学习（Federated Learning）
主要内容
本文针对联邦学习中内部和外部数据分布的测试时泛化问题，提出了一种基于贝叶斯的方法，旨在平衡模型在内部分布和外部分布上的泛化能力。
主要贡献
1. 提出了测试时泛化内部和外部数据分布的联邦学习（TGFL）新场景。
2. 提出了基于贝叶斯的方法BTFL，通过平衡样本层面的泛化能力和个性化能力，实现了对内部和外部分布的测试时泛化。
3. 通过理论分析和实验验证，证明了BTFL的有效性和优越性。
4. 提出了新的基准BTGFL，用于更全面地评估联邦学习中的测试时泛化能力。
研究方法
1. 采用了两头架构，分别存储本地和全局知识。
2. 通过双重贝叶斯框架，结合历史测试数据和当前样本特征进行预测。
3. 利用Beta-Bernoulli过程分析历史信息，以及近似贝叶斯更新处理样本级信息。
4. 通过双重后验注入（DPI）实现预测的插值。
实验结果
实验结果表明，BTFL在多个数据集和模型上均取得了比现有方法更好的性能，且时间成本更低。
未来工作
未来工作将集中在以下几个方面：进一步优化BTFL算法，提高其在复杂场景下的性能；探索将BTFL应用于其他机器学习领域；研究如何将BTFL与其他联邦学习方法结合，以实现更高效的数据隐私保护。