A Plasticity-Aware Method for Continual Self-Supervised Learning in Remote Sensing
作者: Lars Möllenbrok, Behnood Rasti, Begüm Demir
发布时间: 2025-04-03
来源: arxiv
研究方向: 遥感领域中的持续自监督学习（CSSL）
主要内容
提出了一种新的持续自监督学习方法，用于遥感图像的分类任务。该方法旨在通过在保持旧任务知识的同时，提高对新任务的学习塑性，以解决现有CSSL方法中存在的灾难性遗忘问题。
主要贡献
1. 提出了一种结合知识蒸馏和去耦机制的新CSSL方法，以提高学习塑性。
2. 该方法通过将特征维度分为任务通用和任务特定部分，强制任务通用特征保持相关性，同时强制任务特定特征去相关性，从而在保持旧任务知识的同时提高对新任务的学习塑性。
3. 实验结果表明，与广泛使用的CaSSLe框架相比，该方法在平均准确率和固执性方面均有显著提升。
研究方法
1. 知识蒸馏：使用先前任务的冻结模型进行知识蒸馏，以保留旧任务的知识。
2. 去耦机制：将特征维度分为任务通用和任务特定部分，并强制任务通用特征保持相关性，同时强制任务特定特征去相关性。
3. BarlowTwins框架：用于学习通用特征编码器。
4. 图像增强：使用不同的图像增强策略来生成图像的对偶视图。
实验结果
在RESISC45数据集上进行的实验表明，与CaSSLe框架相比，该方法在平均准确率和固执性方面均有显著提升。在任务增量场景中，平均准确率提高了1.12%，固执性降低了2.33%。在类别增量场景中，平均准确率提高了1.24%，固执性降低了2.01%。
未来工作
将该方法扩展到多模态数据流，以处理不同模态的遥感数据。