DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches
作者: Atik Faysal, Mohammad Rostami, Taha Boushine, Reihaneh Gh. Roshan, Huaxia Wang, Nikhil Muralidhar
发布时间: 2025-02-27
来源: arxiv
研究方向: 无线通信中的自动调制分类（AMC）和半监督学习
主要内容
提出了一种名为DenoMAE2.0的增强去噪掩码自动编码器，通过结合去噪重建和局部图像块分类目标，提高了表示学习和鲁棒性。DenoMAE2.0通过引入位置感知的局部图像块分类，使模型能够在保持全局一致性的同时捕获细粒度局部特征。
主要贡献
1. 提出了一种结合去噪重建和局部图像块分类的新的架构，使模型能够同时学习全局和局部特征。
2. 引入了一种基于位置的分类策略，通过利用空间信息来增强表示学习，而无需额外的标签。
3. 通过广泛的实验表明，DenoMAE2.0在下游和迁移学习任务中，尤其是在数据有限的场景下，比传统的MAE和DenoMAE方法取得了更好的性能。
研究方法
1. 去噪掩码自动编码器（DenoMAE）
2. 局部图像块分类
3. 位置感知的分类策略
4. 预训练和微调
5. 损失函数优化
实验结果
DenoMAE2.0在去噪质量和下游分类精度方面优于其前身DenoMAE和其他基线方法。在调制信号星座图分类任务中，DenoMAE2.0在RadioML基准测试中比DenoMAE提高了11.83%和16.55%的准确率。DenoMAE2.0在低数据条件下也表现出良好的泛化能力。
未来工作
未来工作可以包括探索DenoMAE2.0在其他无线通信任务中的应用，例如信道估计和信号检测，以及进一步优化模型架构和训练策略以提高性能。