Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning
作者: Yanbiao Ma, Wei Dai, Wenke Huang, Jiayi Chen
发布时间: 2025-03-11
来源: arxiv
研究方向: 联邦学习与数据异构性
主要内容
本文针对联邦学习中数据异构性问题，提出了基于几何知识引导的局部全局分布对齐方法，旨在解决局部和全局分布之间的显著不一致性，从而提高模型在异构数据上的性能。
主要贡献
1. 提出了一种基于几何形状描述数据分布的方法，并通过局部协方差矩阵近似全局几何形状，解决了隐私约束下的全局几何形状获取问题。
2. 提出了全局几何引导嵌入不确定性表示（GGEUR）方法，通过全局几何形状引导数据增强，模拟理想的全局分布。
3. 在单域和多域场景下，分别对样本进行增强，以模拟全局分布，从而提高模型的泛化能力。
4. 在具有标签偏斜、域偏斜和两者共存的高异构数据场景中，显著提高了现有方法的性能。
研究方法
1. 基于协方差矩阵的几何形状描述
2. 局部协方差矩阵近似全局几何形状
3. 全局几何引导嵌入不确定性表示（GGEUR）
4. 单域和多域场景下的样本增强
实验结果
在CIFAR-10、CIFAR-100、Tiny-ImageNet、Digits、Office-Caltech、PACS和Office-Home-LDS等数据集上进行的实验表明，GGEUR方法在处理高异构数据时，显著提高了现有方法的性能，实现了在复杂多域、多类数据集上的鲁棒性能。
未来工作
未来工作将探索以下方向：1）将GGEUR方法应用于其他类型的联邦学习任务；2）研究如何更有效地获取全局几何形状；3）探索将GGEUR方法与其他数据增强技术相结合。