Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation

作者: Jie Xu, Na Zhao, Gang Niu, Masashi Sugiyama, Xiaofeng Zhu

发布时间: 2025-03-07

来源: arxiv

研究方向: 多视角学习(MVL)与鲁棒性

主要内容

提出了一种名为RML的鲁棒多视角学习方法,通过样本级注意力机制和模拟扰动对齐来融合和校准多视角数据,从而提高模型在异构多视角数据集上的鲁棒性和泛化能力。

主要贡献

1. 提出了一种基于样本级注意力的多视角表示融合框架,能够处理现实世界中异构多视角数据的不完美情况。

2. 引入了一种基于模拟扰动的多视角对比学习方法,通过模拟噪声和不适用数据来提高模型对噪声和不适用数据的鲁棒性。

3. RML可以独立进行自监督的多视角表示学习,也可以作为正则化模块来增强下游任务。

4. RML在多视角聚类、噪声标签多视角分类和跨模态哈希检索等任务上取得了显著效果。

研究方法

1. 多视角Transformer融合网络:将异构多视角数据转换为同质词嵌入,并通过样本级注意力机制进行融合。

2. 模拟扰动基于的多视角对比学习:通过添加噪声和丢弃部分视图数据来模拟噪声和不适用数据,并通过对比学习来校准表示。

3. RML正则化:将RML作为正则化模块集成到其他多视角学习方法中,以提高其鲁棒性和泛化能力。

实验结果

RML在无监督多视角聚类、噪声标签多视角分类和跨模态哈希检索等任务上均取得了显著的性能提升,验证了其有效性和鲁棒性。

未来工作

将RML框架扩展到更多多视角学习任务,并探索其在其他领域的应用。