Lost-in-the-Middle in Long-Text Generation: Synthetic Dataset, Evaluation Framework, and Mitigation
作者: Junhao Zhang, Richong Zhang, Fanshuang Kong, Ziyang Miao, Yanhan Ye, Yaowei Zheng
发布时间: 2025-03-11
来源: arxiv
研究方向: 长文本生成与理解
主要内容
本文研究了长文本生成中存在的“中间丢失”问题，并提出了LONGINOUTBENCH基准和RAL-WRITER方法来解决这一问题。LONGINOUTBENCH基准包含长输入和长输出的数据集和评估框架，用于评估长文本生成模型的性能。RAL-WRITER方法通过检索和重述重要内容来缓解“中间丢失”问题。
主要贡献
1. 提出了LONGINOUTBENCH基准，为长输入和长输出任务提供了评估框架和数据集。
2. 开发了RAL-WRITER方法，通过检索和重述重要内容来缓解“中间丢失”问题。
3. 在LONGINOUTBENCH基准上进行了实验，验证了RAL-WRITER方法的有效性。
研究方法
1. LONGINOUTBENCH基准：通过手动收集科学论文，设计长文本写作任务，并建立长度、一致性和质量评估指标。
2. RAL-WRITER方法：包含写作步骤规划器和检索-重述写作者。规划器负责创建写作框架和定义写作步骤，写作者负责检索和重述重要内容。
实验结果
在LONGINOUTBENCH基准上进行的实验表明，RAL-WRITER方法在一致性和质量评估指标上优于基线方法，有效缓解了“中间丢失”问题。
未来工作
未来工作可以进一步研究如何提高RAL-WRITER方法的性能，例如探索更有效的检索和重述机制，以及如何将LONGINOUTBENCH基准应用于其他长文本生成任务。