OpenEarthSensing: Large-Scale Fine-Grained Benchmark for Open-World Remote Sensing
作者: Xiang Xiang, Zhuo Xu, Yao Deng, Qinhao Zhou, Yifan Liang, Ke Chen, Qingfang Zheng, Yaowei Wang, Xilin Chen, Wen Gao
发布时间: 2025-03-03
来源: arxiv
研究方向: 开放世界遥感图像分类与识别
主要内容
本文介绍了一个名为OpenEarthSensing (OES) 的大型、细粒度开放世界遥感图像分类数据集，用于评估开放世界遥感模型在处理语义和协变量偏移方面的性能。OES包含五个子数据集，涵盖多个领域和模态，以模拟真实世界中的各种场景。
主要贡献
1. 引入了OpenEarthSensing（OES）数据集，这是一个包含五个子数据集的大型、细粒度多模态数据集，用于开放世界遥感。
2. 对开放世界遥感中的关键视觉任务进行了基准测试，并与实际应用相一致。
3. 对实验结果进行了全面分析，得出有助于开放世界遥感领域研究和开发的结论。
研究方法
1. 数据集构建：通过合并和选择公开的遥感分类数据集、从公共目标检测数据集中裁剪图像以及从网络数据集中检索图像来构建数据集。
2. 数据集分析：使用t-SNE进行降维可视化，以分析不同域之间的差异。
3. 基准测试：在OES上对多种开放世界任务进行基准测试，包括语义偏移OOD检测和OSR、协变量偏移泛化和OOD检测、类增量学习、域增量学习和粗细粒度少量样本增量学习。
实验结果
实验结果表明，OpenEarthSensing数据集为开放世界遥感提供了一个具有挑战性的基准。在语义偏移和协变量偏移的情况下，模型的表现不佳，表明开放世界遥感是一个具有挑战性的领域。
未来工作
未来工作将包括进一步改进数据集，以包含更多域和模态，以及开发新的方法来提高模型在开放世界环境中的性能。