Ticktack : Long Span Temporal Alignment of Large Language Models Leveraging Sexagenary Cycle Time Expression

作者: Xue Han, Qian Hu, Yitong Wang, Wenchun Gao, Lianlian Zhang, Qing Wang, Lijun Mei, Chao Deng, Junlan Feng

发布时间: 2025-03-10

来源: arxiv

研究方向: 自然语言处理，尤其是大型语言模型在处理长期时间信息时的时序对齐问题

主要内容

提出了一种名为“Ticktack”的方法，用于解决大型语言模型（LLM）在处理长期时间信息时的时序对齐问题。该方法通过使用六十甲子年表达方式代替格里历表达方式，使用极坐标建模六十甲子周期和每个周期中的年份顺序，并通过额外的时序编码确保LLM能够理解这些信息，从而提高LLM在时间相关任务上的性能，尤其是在处理长期时间信息时。

主要贡献

1. 提出了一种基于六十甲子年表达方式的时序对齐方法，有效解决了LLM在处理长期时间信息时的时序对齐问题。

2. 通过使用极坐标和额外的时序编码，增强了LLM对时间信息的理解能力。

3. 创建了一个长期时间跨度基准数据集TempLS，用于评估LLM在处理长期时间信息时的性能。

研究方法

1. 六十甲子年表达方式

2. 极坐标建模

3. 额外的时序编码

4. 时序对齐方法

5. EWC理论

6. 相似度算法

实验结果

在TempLAMA、TempUN和TempLS三个时间问答数据集上进行的实验结果表明，使用Ticktack训练的LLM在时间相关任务上的性能显著优于基线模型和仅进行后训练的模型。此外，在低资源年份（如BCE时期）上，Ticktack也表现出显著的性能提升。可视化结果表明，Ticktack能够有效地将时间信息编码到LLM的嵌入中，从而提高LLM对时间信息的敏感性。

未来工作

未来将探索使用六十甲子周期来表示更多时间粒度，如月份和日期。此外，将开发新的长期时间相关基准数据集，以进一步提高LLM对时间信息理解的评估方法和可靠性。