Implicit In-Context Learning: Evidence from Artificial Language Experiments
作者: Xiaomeng Ma, Qihui Xu
发布时间: 2025-04-03
来源: arxiv
研究方向: 大语言模型（LLM）的隐式学习机制研究
主要内容
该研究通过改编经典的人工语言学习实验，评估了两种先进的OpenAI模型（gpt-4o 和 o3-mini）在推断层面的隐式学习能力。研究重点关注形态学、形态句法和句法三个领域，并探讨了模型在各个领域中的学习能力和与人类行为的一致性。
主要贡献
1. 发现模型在各个语言领域的学习能力和人类行为存在特定的相关性。
2. o3-mini在形态学领域表现优于gpt-4o，而两个模型在句法领域表现相似。
3. 证明了认知科学范式在评估LLM隐式学习方面的有效性。
4. 确定了人类和LLM认知过程在不同领域的相似性和差异性，为未来的研究提供了基础。
5. 提出了LLM在隐式学习方面与人类学习存在差异的观点，并提出了未来研究方向。
研究方法
1. 改编经典的人工语言学习实验：形态学实验、形态句法实验和句法实验。
2. 使用两种先进的OpenAI模型（gpt-4o 和 o3-mini）进行实验。
3. 采用认知科学范式来评估LLM的隐式学习能力。
4. 对实验结果进行统计分析，并与人类行为进行比较。
5. 进行后测试，以评估模型的显式知识水平。
实验结果
实验结果表明，模型在各个语言领域的学习能力和人类行为存在特定的相关性。o3-mini在形态学领域表现优于gpt-4o，而两个模型在句法领域表现相似。模型在隐式学习方面存在差异，尤其是在形态句法领域，这表明推理增强设计可能有助于更隐式地统计形态学任务。
未来工作
未来研究应系统地调查使LLM在不同语言领域实现更类似人类隐式学习能力的架构特征。具体来说，有三个方向很有前景：（1）开发基于认知科学范式的基准数据集，以标准化模型隐式学习能力的评估；（2）探索预训练数据特征如何影响不同学习策略的出现；（3）在模型架构中实施受控变化，以隔离特定隐式学习能力的贡献组件。