DPZV: Resource Efficient ZO Optimization For Differentially Private VFL
作者: Jianing Zhang, Evan Chen, Chaoyue Liu, Christopher G. Brinton
发布时间: 2025-03-03
来源: arxiv
研究方向: 隐私保护联邦学习
主要内容
本文提出了DPZV，这是一种结合了差分隐私（DP）和垂直联邦学习（VFL）的内存高效零阶优化框架。该框架旨在解决VFL在扩展到大型模型时遇到的隐私风险和效率问题。
主要贡献
1. 提出了一种基于零阶优化的VFL算法，该算法在模型和梯度级别上实现了任意级别的差分隐私，同时保持了内存和通信效率。
2. 提供了收敛率和隐私保证的严格理论分析，证明了该方法在非凸目标下的收敛率与集中式案例相同。
3. 在图像和NLP基准测试中进行了广泛的实验，证明了DPZV在准确度上优于所有基线，同时提供了强大的隐私保证（ϵ 10）和较低的计算资源需求，为资源受限的VFL部署建立了新的隐私-效用权衡点。
研究方法
1. 差分隐私（DP）
2. 零阶优化（ZO）
3. 两点梯度估计
4. 异步通信
5. 高斯噪声注入
实验结果
在图像和NLP基准测试中，DPZV在准确度上优于所有基线，同时提供了强大的隐私保证和较低的计算资源需求。
未来工作
未来的工作可以包括探索DPZV在其他类型的数据和模型上的应用，以及进一步提高算法的效率和隐私保证。