Ticktack : Long Span Temporal Alignment of Large Language Models Leveraging Sexagenary Cycle Time Expression
作者: Xue Han, Qian Hu, Yitong Wang, Wenchun Gao, Lianlian Zhang, Qing Wang, Lijun Mei, Chao Deng, Junlan Feng
发布时间: 2025-03-07
来源: arxiv
研究方向: 自然语言处理（NLP）与长期时间信息处理
主要内容
本文提出了一种名为“Ticktack”的方法，旨在解决大型语言模型（LLMs）在处理长期时间信息时的时空错位问题。该方法通过利用干支年表达和极坐标建模来改善LLMs在长期时间尺度上的时间知识学习。
主要贡献
1. 提出了干支年表达，用于替代LLMs中使用的公历表达，以实现更均匀的时间粒度分布。
2. 使用极坐标对干支周期和每个周期内的年份顺序进行建模，并结合额外的时序编码，以确保LLMs能够理解。
3. 提出了一个时序表征对齐方法，用于在LLMs进行后训练时区分具有相关知识的时点，从而提高时间相关任务的表现，尤其是在长期时间尺度上。
4. 创建了TempLS数据集，用于评估Ticktack方法的有效性。
研究方法
1. 干支年表达与公历年表达之间的转换
2. 极坐标表示法
3. 时序编码
4. 时序对齐目标函数
5. 弹性权重巩固（EWC）理论
实验结果
实验结果表明，与仅进行后训练的模型相比，使用Ticktack进行后训练的模型在时间相关任务上表现出显著改进。在TempLS数据集上的实验显示，Ticktack方法可以显著提高LLMs在处理长期时间信息时的性能。
未来工作
探索使用干支周期来表示时间粒度的更多细节，例如月份和日期。开发更多样化的长期时间信息基准，以增强时间信息理解评估的全面性和可靠性。