Enhancing Time Series Forecasting via Logic-Inspired Regularization
作者: Jianqi Zhang, Jingyao Wang, Xingchen Shen, Wenwen Qiang
发布时间: 2025-03-11
来源: arxiv
研究方向: 时间序列预测（TSF）与逻辑推理的结合
主要内容
本文研究了如何通过逻辑推理来增强时间序列预测（TSF）的性能。针对现有基于Transformer的TSF方法在处理不同预测场景时，对token依赖的有效性差异忽略的问题，本文从逻辑角度出发，提出了Attention Logic Regularization（Attn-L-Reg）方法，旨在通过引导模型学习有效的token依赖，从而提高预测性能。
主要贡献
1. 通过实证分析发现，不同预测场景下token依赖的有效性存在显著差异。
2. 从逻辑推理的角度重新思考了基于Transformer的TSF方法的学习过程。
3. 提出了基于逻辑原子公式的有效token依赖的定义，并将其与Transformer-based TSF方法相结合。
4. 设计了Attn-L-Reg方法，通过引导模型学习有效的token依赖，从而提高TSF性能。
5. 通过理论和实验结果证明了Attn-L-Reg方法的有效性和通用性。
研究方法
1. 逻辑框架的构建
2. 基于逻辑原子公式的有效token依赖的定义
3. Attn-L-Reg方法的提出，包括最小性和有效性约束
4. 理论分析和实证研究
实验结果
实验结果表明，Attn-L-Reg方法在多个数据集上均取得了显著的性能提升，且其预测性能优于现有的TSF方法。
未来工作
未来工作可以进一步研究Attn-L-Reg方法在其他TSF场景中的应用，并探索将其与其他机器学习技术相结合的可能性。