One-Shot Clustering for Federated Learning

作者: Maciej Krzysztof Zuziak, Roberto Pellungrini, Salvatore Rinzivillo

发布时间: 2025-03-07

来源: arxiv

研究方向: 联邦学习（Federated Learning）和聚类联邦学习（Clustered Federated Learning）

主要内容

本文提出了一种名为One-Shot Clustered Federated Learning (OCFL)的算法，该算法可以在联邦学习的早期阶段自动检测到合适的聚类时刻，并执行高效的单次聚类，无需调整超参数。OCFL算法基于计算客户梯度的余弦相似度和温度度量，用于检测联邦模型何时开始收敛。

1. 提出了OCFL算法，该算法可以自动检测到合适的聚类时刻，并执行高效的单次聚类。

2. OCFL算法是聚类算法无关的，可以与大多数现有的聚类算法结合使用。

3. 通过实验证明了OCFL算法在聚类性能和个人化方面的优越性，同时保持了可接受的泛化能力。

4. 实验结果表明，OCFL算法可以有效地在早期阶段对客户进行聚类，从而提高本地模型的个性化程度。

5. OCFL算法可以自然扩展到动态客户环境，其中单次聚类仅对客户子集执行。

1. 计算客户梯度的余弦相似度。

2. 使用温度度量来检测联邦模型何时开始收敛。

3. 在早期阶段执行单次聚类，无需调整超参数。

4. 将OCFL算法与密度基聚类算法（如MeanShift和HDBSCAN）结合使用。

5. 评估聚类性能，包括RAND指数、调整互信息分数和完整性分数。

6. 评估本地性能和全局性能，包括F1分数和学习差距。

7. 分析温度函数的行为，以确定合适的聚类时刻。

实验结果表明，OCFL算法在聚类性能和个人化方面优于现有的CFL算法，同时保持了可接受的泛化能力。OCFL算法可以有效地在早期阶段对客户进行聚类，从而提高本地模型的个性化程度。实验结果还表明，OCFL算法在动态客户环境中也能很好地工作。

未来研究可以探索联邦聚类对隐私的影响，并研究如何在保持隐私保证的同时实现个性化。此外，还可以研究如何在动态客户环境中更有效地执行单次聚类。