Emergence of the Primacy Effect in Structured State-Space Models
作者: Takashi Morita
发布时间: 2025-02-24
来源: arxiv
研究方向: 机器学习、认知神经科学、时间序列处理
主要内容
本文研究了结构化状态空间模型（SSM）在记忆任务中的表现，并发现该模型在记忆验证任务中表现出与人类和动物记忆相似的优先效应，即对序列开头和结尾的项目记忆更准确。
主要贡献
1. 揭示了结构化状态空间模型（SSM）在记忆任务中表现出优先效应，挑战了当前机器学习理论。
2. 为理解人类和动物的优先效应提供了新的视角。
3. 为机器学习模型在时间序列处理中的应用提供了新的思路。
4. 提出了一个基于SSM的神经生物学模型来解释优先效应。
5. 通过实验验证了SSM的优先效应与时间步长参数∆t的关系。
研究方法
1. 二进制记忆验证任务
2. 结构化状态空间模型（SSM）
3. 长短期记忆网络（LSTM）
4. Adam优化器
5. 梯度下降法
实验结果
实验结果表明，SSM在记忆验证任务中表现出优先效应，即对序列开头和结尾的项目记忆更准确。此外，SSM的优先效应与时间步长参数∆t有关，较小的∆t值有助于保留更远的记忆，而较大的∆t值则有助于提高相邻标记的区分度。
未来工作
未来的研究可以探索以下方向： 1. 在更接近生物自然环境的设置下训练模型，以进一步验证SSM的优先效应。 2. 将SSM转换为脉冲神经网络，以研究物理时间效应。 3. 研究SSM在更复杂的记忆任务中的表现。 4. 将SSM与其他机器学习模型进行比较，以进一步了解其优缺点。