DM-Adapter: Domain-Aware Mixture-of-Adapters for Text-Based Person Retrieval
作者: Yating Liu, Zimo Liu, Xiangyuan Lan, Wenming Yang, Yaowei Li, Qingmin Liao
发布时间: 2025-03-07
来源: arxiv
研究方向: 文本基于的人检索（Text-based Person Retrieval, TPR）
主要内容
本文提出了一种名为DM-Adapter的文本基于的人检索方法，该方法结合了Mixture-of-Experts（MOE）和参数高效迁移学习（PETL）技术，旨在提高特征表示的细粒度同时保持效率。
主要贡献
1. 首次探索基于PETL的MOE框架应用于TPR，无需额外的复杂交互模块即可隐式挖掘细粒度人知识。
2. 设计了一种新的域感知路由器，通过学习提示信息减轻路由不平衡问题。
3. 在三个公开数据集（CUHK-PEDES、ICFG-PEDES和RSTPReid）上进行了全面实验，证明了DM-Adapter框架的优越性。
研究方法
1. 采用CLIP（ViT-B/16）作为骨干网络。
2. 设计Domain-Aware Mixture-of-Adapters（DM-Adapter），跨越视觉和语言分支的MLP层，实现CLIP中知识的迁移。
3. 设计Sparse Mixture-of-Adapters（SMA），在视觉和语言分支中并行设计，不同专家专注于不同方面的人知识，以更精细地处理特征。
4. 提出Domain-Aware Router（DR），通过设计域感知门控函数和注入可学习域感知提示，促进路由器有效地利用域信息，并缓解路由不平衡。
5. 引入辅助损失来平衡路由器的负载。
实验结果
DM-Adapter在CUHK-PEDES、ICFG-PEDES和RSTPReid三个数据集上均取得了最先进的性能，在参数效率方面优于现有方法。
未来工作
未来工作可以探索如何进一步提高DM-Adapter的性能，例如，通过引入更复杂的域感知机制或探索其他PETL技术。