PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting
作者: Yanhong Li, David C. Anastasiu
发布时间: 2025-03-03
来源: arxiv
研究方向: 极端适应性多元时间序列预测
主要内容
PFformer模型是一种基于Transformer的、无位置编码的模型，用于解决极端事件数据集中的多元时间序列预测问题。该模型通过整合两种新型嵌入策略——增强特征嵌入（EFE）和自动编码器嵌入（AEE）——来有效地捕捉变量间的复杂依赖关系。
主要贡献
1. PFformer通过EFE和AEE克服了传统位置编码的局限性，提高了对时空关系的灵活处理能力。
2. PFformer引入了一种基于聚类的采样策略，有效地定位数据集中的关键特征和趋势。
3. PFformer创新性地使用AEE来强调短期预测在损失函数中的作用，增强了模型对极端事件的鲁棒性。
4. PFformer在四个挑战性的数据集上进行了评估，与最先进的模型相比，在预测精度上提高了20%到60%。
研究方法
1. 增强特征嵌入（EFE）：将相关的序列子集映射到高维空间，而无需位置约束。
2. 自动编码器嵌入（AEE）：处理对齐的多变量时间序列数据，生成对时间模式依赖性的总结。
3. 聚类基础上的过采样策略：基于统计分布来捕捉重要的数据点。
4. 多目标损失函数：结合了RMSE和AEE输出后的线性变换的RMSE，以提高短期预测的准确性。
实验结果
在四个真实的水文流数据集上，PFformer在3天和每4小时滚动预测的RMSE方面均表现出显著改进，与最先进的模型相比，提高了20%到60%。在3天预测场景中，PFformer在所有传感器上都优于基线模型，在4小时滚动预测场景中，PFformer在所有传感器上都表现出色。
未来工作
未来研究可以进一步探索PFformer在其他领域和复杂时间序列预测场景中的应用，以及如何进一步优化EFE和AEE模块，以实现更高的预测精度。