A Compact Model for Large-Scale Time Series Forecasting

作者: Chin-Chia Michael Yeh, Xiran Fan, Zhimeng Jiang, Yujie Fan, Huiyuan Chen, Uday Singh Saini, Vivian Lai, Xin Dai, Junpeng Wang, Zhongfang Zhuang, Liang Wang, Yan Zheng

发布时间: 2025-03-03

来源: arxiv

研究方向: 大规模时空数据预测

主要内容

本文提出了一种名为 UltraSTF 的新型紧凑型时空预测模型，该模型旨在解决大规模时空数据预测中的效率与准确性平衡问题。它结合了跨周期稀疏预测组件和超紧凑形状库组件，以有效地捕捉时空数据中的周期性和时间依赖性。

主要贡献

1. 识别了在紧凑型时空预测模型中同时建模跨周期和周期内关系的重要性。

2. 提出了 UltraSTF，这是一种将跨周期稀疏预测与超紧凑形状库机制相结合的新方法，有效地捕获了复杂的时序动态，同时保持了极小的参数数量。

3. 通过在多个数据集上的实验，证明了 UltraSTF 仅使用先前领先方法所需参数的 0.2%，即可实现最先进的性能，从而显著提高了时空预测中的效率-准确性权衡。

4. 通过实验验证了 UltraSTF 在不同数据集上的泛化能力和扩展能力，表明其作为时间序列基础模型的有效性。

5. 通过可视化形状库组件学习到的模式，证明了模型能够捕捉到数据中的有意义的时间结构。

研究方法

1. 跨周期稀疏预测

2. 超紧凑形状库

3. 注意力机制

4. 聚合模块

5. 多块结构

6. 多头注意力机制

实验结果

在 LargeST 数据集上的实验表明，UltraSTF 在所有四个子数据集上都实现了最佳性能，其性能优于所有其他方法。此外，UltraSTF 在模型大小（即可学习参数数量）方面也相对较轻，其参数数量仅为第二佳方法的十分之一。实验还表明，UltraSTF 具有良好的泛化能力和扩展能力，能够有效地处理更大的数据集。

未来工作

未来工作可以集中在以下几个方面：1) 探索更高效的形状库设计，以进一步提高模型的表达能力；2) 将 UltraSTF 应用于更广泛的时空预测任务，如交通流量预测、股票价格预测等；3) 将 UltraSTF 与其他机器学习技术相结合，以进一步提高预测准确性。