BeamVQ: Beam Search with Vector Quantization to Mitigate Data Scarcity in Physical Spatiotemporal Forecasting
作者: Weiyan Wang, Xingjian Shi, Ruiqi Shu, Yuan Gao, Rui Ray Chen, Kun Wang, Fan Xu, Jinbao Xue, Shuaipeng Li, Yangyu Tao, Di Wang, Hao Wu, Xiaomeng Huang
发布时间: 2025-02-27
来源: arxiv
研究方向: 物理时空预测
主要内容
BeamVQ是一种用于减轻物理时空预测中数据稀缺性的概率框架。它通过结合束搜索和向量量化（VQ）来提高模型在极端事件上的物理一致性和泛化能力。
主要贡献
1. 引入了BeamVQ框架，通过向量量化离散化输出，结合束搜索和自集成策略，有效地探索可能的未来演变路径。
2. 在自训练阶段，将束搜索的伪标记样本纳入训练数据，并迭代更新模型，有效补偿了缺乏真实标签，并间接优化了任何指标以获得更好的物理一致性。
3. 在多个数据集和不同骨干网络上进行了系统性评估，包括气象、流体和PDE模拟，以及CNN、RNN和Transformer等不同骨干网络。BeamVQ将平均MSE降低了18.97%至39.08%，显示出在准确性、极端事件捕获和物理合理性方面的显著和一致改进。
研究方法
1. 基础预测模型预训练
2. Top-K VQ-VAE预训练
3. 联合优化
4. 束搜索推理
实验结果
在多个基准测试和骨干模型上进行了实验，结果表明BeamVQ显著提高了模型的性能，特别是在极端事件捕获和物理一致性方面。实验结果表明，BeamVQ可以降低平均MSE，提高预测精度。
未来工作
未来工作可能包括探索更复杂的物理时空预测任务，以及改进BeamVQ框架以提高其性能和泛化能力。此外，研究如何将BeamVQ应用于其他领域，如自然语言处理和计算机视觉，也是未来工作的一部分。