CITRAS: Covariate-Informed Transformer for Time Series Forecasting
作者: Yosuke Yamaguchi, Issei Suemitsu, Wenpeng Wei
发布时间: 2025-04-02
来源: arxiv
研究方向: 时间序列预测，尤其是考虑协变量的时间序列预测
主要内容
提出了一种名为CITRAS的基于Transformer的时间序列预测模型，该模型能够有效地利用多个目标变量和协变量，包括过去和未来的信息，以改善预测精度。
主要贡献
1. 扩展了Transformer以灵活地适应观察到的协变量和已知的协变量
2. 在交叉变量注意力模块中引入了注意力分数平滑和键值（KV）位移机制，以捕捉多粒度的交叉变量依赖关系
3. 在协变量信息设置和多元设置中实现了最先进的性能，证明了其利用交叉变量和交叉时间依赖关系的能力
研究方法
1. 基于Transformer的架构，包括嵌入模块、交叉时间注意力模块和交叉变量注意力模块
2. 键值（KV）位移机制，将已知协变量的键与一个时间步长之前的值相关联
3. 注意力分数平滑，将局部准确的补丁级依赖关系转换为全局变量级依赖关系
实验结果
在协变量信息预测和多元预测的多个数据集上进行了实验，结果表明CITRAS在大多数情况下都取得了最先进的性能，证明了其在不同场景下的有效性和鲁棒性。
未来工作
探索在协变量信息设置中基础时间理解能力