Delusions of Large Language Models
作者: Hongshen Xu, Zixv yang, Zichen Zhu, Kunyao Lan, Zihan Wang, Mengyue Wu, Ziwei Ji, Lu Chen, Pascale Fung, Kai Yu
发布时间: 2025-03-12
来源: arxiv
研究方向: 自然语言处理，人工智能
主要内容
本文研究了大型语言模型（LLM）中的一种新现象，称为LLM幻想，即高信念幻想。这种幻想是错误的输出，但具有异常高的置信度，使其更难检测和减轻。本文通过实证分析不同模型家族和尺寸在多个问答任务上的表现，揭示了幻想的普遍性和与幻觉的区别。LLM在幻想中表现出较低的真实性，并且难以通过微调或自我反思来克服。本文探讨了检索增强生成和多智能体辩论等缓解策略，以减轻幻想。
主要贡献
1. 首次提出LLM幻想的概念，并对其进行了定义和分类。
2. 通过实证分析揭示了LLM幻想的普遍性和与幻觉的区别。
3. 分析了幻想的形成和动态，并探讨了缓解策略。
4. 提出了基于检索增强生成和多智能体辩论的缓解策略。
5. 为提高LLM的可靠性提供了新的思路和方向。
研究方法
1. 不确定性估计：包括基于logits的估计、一致性估计和口头化置信度。
2. 信念阈值：通过分析正确答案的信念分布来确定。
3. 实验研究：在多个问答数据集和模型上进行了实验，以验证幻想的存在和特征。
4. 数据分析：包括错误率、置信度分数和模型拒绝率等指标。
5. 缓解策略：包括检索增强生成和多智能体辩论。
实验结果
实验结果表明，LLM幻想在多个模型和尺寸上普遍存在，并且难以通过传统的置信度估计方法来检测和减轻。此外，实验还表明，检索增强生成和多智能体辩论等外部验证方法可以有效地减轻幻想。
未来工作
未来需要进一步研究LLM幻想的成因，并开发更有效的缓解策略。此外，还需要探索LLM幻想在不同任务和场景中的应用，以及如何将其与其他LLM错误类型（如幻觉）进行区分。