PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning
作者: Yuanlong Wu, Mingxing Nie, Tao Zhu, Liming Chen, Huansheng Ning, Yaping Wan
发布时间: 2025-03-11
来源: arxiv
研究方向: 时间序列类增量学习(TSCIL)
主要内容
该论文提出了基于预训练模型(PTM)的时间序列类增量学习(TSCIL)方法,通过结合共享适配器调整、知识蒸馏和特征漂移补偿网络(DCN)来提高模型在增量学习过程中的稳定性和泛化能力。
主要贡献
1. 首次探索了PTM在时间序列领域增量学习中的应用,提出了一个结合持续适配器调整和特征漂移学习的创新框架。
2. 设计了一种两阶段训练策略,用于训练DCN以建模旧模型和新模型之间的特征映射,从而精确地校准旧类原型,为统一分类器重训练生成可靠的特征样本,有效缓解灾难性遗忘。
3. 在五个时间序列数据集上进行了全面的实验,证明了该方法在各种任务设置下的优越性能,与现有基于PTM的方法相比,最终准确率提高了1.4%–6.1%。
研究方法
1. 预训练模型(PTM)的冻结和增量调整:冻结PTM骨干网络,同时增量调整共享适配器,以减少可训练参数数量并限制模型更新。
2. 知识蒸馏(KD):通过从旧模型向新模型转移知识来缓解灾难性遗忘。
3. 特征漂移补偿网络(DCN):学习特征空间中旧模型和新模型之间的映射关系,以校正旧类原型并缓解特征漂移。
4. 统一分类器训练:使用DCN校正的旧类原型和新类原型来训练统一分类器,以减少遗忘并提高性能。
5. 两阶段DCN训练策略:初步DCN训练和专门的重精炼,以提高漂移补偿的有效性。
实验结果
在五个真实世界数据集上的实验结果表明,与现有方法相比,该方法在平均准确率、平均遗忘率和平均学习准确率方面均取得了显著的提升,证明了其在TSCIL任务中的有效性。
未来工作
未来工作可以探索以下方向:探索更有效的DCN架构和训练策略,以提高特征漂移补偿的准确性;将该方法应用于更复杂的时间序列任务,如异常检测和预测;结合其他增量学习技术,如数据增强和元学习,以提高模型的鲁棒性和泛化能力。