UASTrack: A Unified Adaptive Selection Framework with Modality-Customization in Single Object Tracking
作者: He Wang, Tianyang Xu, Zhangyong Tang, Xiao-Jun Wu, Josef Kittler
发布时间: 2025-02-27
来源: arxiv
研究方向: 多模态目标跟踪，特别是单目标跟踪（SOT）
主要内容
本文提出了一种名为UASTrack的统一自适应选择框架，该框架在单目标跟踪中实现了模态自适应感知和模态定制。UASTrack通过使用一个判别性自动选择器（DAS）和任务定制优化适配器（TCOA）来动态识别输入模态类型，并根据不同的模态定制网络结构，以实现对不同模态的有效利用。
主要贡献
1. 提出了一种基于判别性自动选择器的统一RGB-X跟踪器，消除了对模态类型的先验知识的需求，并能够动态适应各种跟踪任务。
2. 提出了一种任务定制优化适配器，增强了基础模型对多模态空间的适应性，并能够根据不同的任务对辅助模态进行特定定制。
3. 在五个基准测试中进行了广泛的评估，证实了UASTrack的有效性和效率，在性能上显著优于最先进的跟踪器。
研究方法
1. 判别性自动选择器（DAS）
2. 任务定制优化适配器（TCOA）
3. Transformer架构
4. 多模态特征融合
5. 交叉熵损失和焦点损失
实验结果
UASTrack在RGB-T、RGB-E和RGB-D跟踪任务中均优于最先进的跟踪器，包括在深度跟踪、RGBT234、GTOT、VisEvent和DepthTrack等基准测试中。实验结果表明，UASTrack在大多数情况下都取得了显著的性能提升。
未来工作
未来工作可能包括进一步探索不同模态之间的交叉模态依赖性，以及开发更有效的多模态特征融合和优化策略，以进一步提高跟踪器的鲁棒性和准确性。