GenHPE: Generative Counterfactuals for 3D Human Pose Estimation with Radio Frequency Signals
作者: Shuokang Huang, Julie A. McCann
发布时间: 2025-03-14
来源: arxiv
研究方向: 3D人体姿态估计与无线射频信号
主要内容
该研究提出了一种名为GenHPE的3D人体姿态估计方法,利用无线射频信号进行人体姿态估计。该方法通过生成反事实无线射频信号来消除特定领域的混淆因素,并训练生成模型,学习人体部位和混淆因素如何影响无线射频信号。通过这种方式,GenHPE能够泛化到新的主体和环境,从而实现跨领域3D人体姿态估计。
主要贡献
1. 提出了GenHPE,这是第一个针对无线射频信号3D人体姿态估计的领域泛化工作,并首次尝试使用生成模型帮助无线射频信号模型跨领域泛化。
2. 设计了一种基于差异的方案,使用反事实无线射频信号去除特定领域的混淆因素,并正则化编码器-解码器模型以学习跨领域3D人体姿态估计的域独立表示。
3. 在公共数据集上进行了实验,证明了GenHPE在跨主体和环境场景中显著降低了3D人体姿态估计误差。
研究方法
1. 生成模型:条件DDPM、DDIM和CGAN
2. 骨架嵌入:将人体部位表示为骨架嵌入,并使用它们作为生成模型的条件来合成无线射频信号。
3. 反事实合成:通过操纵骨架标签(例如,移除身体部位)作为生成模型的反事实条件,以合成反事实无线射频信号。
4. 基于差异的聚合:通过计算反事实信号之间的差异来消除特定领域的混淆因素,并将这些差异聚合起来以近似与所有身体部位相关的信号,从而正则化编码器-解码器模型以学习域独立表示。
5. 域独立表示学习:使用编码器-解码器模型来估计3D空间中的人体关节坐标,并使用反事实正则化来确保编码器学习域独立表示。
实验结果
GenHPE在三个公共数据集(WiFi、超宽带和毫米波)上进行了评估,结果表明它在跨主体和环境场景中优于最先进的方法,并将估计误差分别减少了52.2毫米和10.6毫米。
未来工作
未来可以探索使用更复杂的生成模型来提高合成无线射频信号的质量,并研究如何将GenHPE应用于其他无线射频信号源,例如蓝牙和NFC。此外,可以研究如何将GenHPE与其他技术结合,例如多模态数据融合,以进一步提高人体姿态估计的准确性。