Enough Coin Flips Can Make LLMs Act Bayesian
作者: Ritwik Gupta, Rodolfo Corona, Jiaxin Ge, Eric Wang, Dan Klein, Trevor Darrell, David M. Chan
发布时间: 2025-03-08
来源: arxiv
研究方向: 人工智能，自然语言处理，机器学习
主要内容
本文研究了大型语言模型（LLMs）在执行上下文学习（ICL）时，如何适应简单的随机过程（如偏置的硬币翻转）。通过在控制环境中剥离复杂的变量，作者探究了预训练模型如何构建和更新其先验概率。
主要贡献
1. 发现LLMs通常开始时具有偏差，但随着足够上下文证据的出现，它们可以近似贝叶斯更新。
2. 强调了LLMs在简单情况下的贝叶斯建模能力，并指出不良的先验可能会导致更复杂环境中的性能下降。
3. 展示了ICL可以纠正不精确的先验，为“LLM作为世界模型”的框架提供了基础。
4. 强调了在复杂场景中，可能需要额外的策略，如显式先验校准或动态调整提示设计，以确保可靠的概率建模。
研究方法
1. 使用偏置硬币翻转作为控制环境，以研究LLMs的先验概率构建和更新。
2. 通过提供不同的提示和上下文示例，评估LLMs对偏置的响应。
3. 使用贝叶斯更新和后验概率来评估模型的性能。
4. 通过分析注意力机制，研究了模型在更新过程中的行为。
实验结果
实验结果表明，LLMs在初始阶段通常具有偏差的先验，但随着上下文学习证据的增加，它们能够逐渐接近真实的后验分布。注意力机制对模型更新过程的影响较小。
未来工作
未来的工作可能包括：进一步研究LLMs在不同复杂度任务中的贝叶斯推理能力，探索更复杂的先验校准方法，以及开发新的提示设计策略，以改善LLMs在复杂环境中的概率建模能力。