Bayesian Predictive Coding
作者: Alexander Tschantz, Magnus Koudahl, Hampus Linander, Lancelot Da Costa, Conor Heins, Jeff Beck, Christopher Buckley
发布时间: 2025-04-02
来源: arxiv
研究方向: 神经科学和机器学习
主要内容
本文提出了一种名为贝叶斯预测编码（BPC）的算法，该算法扩展了预测编码（PC）框架，通过引入贝叶斯后验分布来估计模型参数，旨在实现生物启发式的贝叶斯学习以及深度学习中的不确定性量化。
主要贡献
1. 提出了BPC算法，通过贝叶斯后验分布估计模型参数，实现了生物启发式的贝叶斯学习。
2. BPC算法在保持PC算法局部性和简单性的同时，提供了封闭形式的Hebbian权重更新。
3. 在完整批次训练中，BPC算法收敛速度更快，在迷你批次训练中与PC和BP算法具有竞争力。
4. BPC算法在不确定性量化方面表现出与现有贝叶斯深度学习方法相当的性能，同时提高了收敛性。
5. BPC算法为训练具有不确定性的神经网络提供了一种可行的方法，为神经系统中不确定性量化提供了一种潜在机制。
研究方法
1. 贝叶斯预测编码（BPC）
2. 预测编码（PC）
3. 变分贝叶斯推理
4. 最大后验（MAP）估计
5. 最大似然（ML）估计
6. 期望最大化（EM）算法
7. 梯度下降
8. Hebbian权重更新
9. 不确定性量化
实验结果
实验结果表明，BPC算法在完整批次训练中收敛速度更快，在迷你批次训练中与PC和BP算法具有竞争力。此外，BPC算法在不确定性量化方面表现出与现有贝叶斯深度学习方法相当的性能，同时提高了收敛性。
未来工作
未来的研究方向包括：研究BPC算法在更大规模神经网络中的应用，探索结构化低秩近似，以及研究BPC算法的优化性质。此外，可以进一步研究BPC算法与基于采样的方法的集成，以实现一个完全贝叶斯PC方法，该方法可以推断出潜在变量和参数的后验分布。