Brain Inspired Adaptive Memory Dual-Net for Few-Shot Image Classification
作者: Kexin Di, Xiuxing Li, Yuyang Han, Ziyu Li, Qing Li, Xia Wu
发布时间: 2025-03-11
来源: arxiv
研究方向: 计算机视觉，少样本图像分类，生物启发式方法
主要内容
本文提出了一种名为SCAM-Net的少样本图像分类方法，该方法受人类大脑的通用优化系统巩固机制启发，通过构建海马体-新皮层双网络结构，模拟系统巩固过程，以解决少样本场景下特征识别困难的问题。
主要贡献
1. 提出了一种受生物启发的自适应记忆双网络，首次将优化泛化的原理引入到系统巩固双网络中。
2. 引入了SCAM-Net技术，该技术通过海马体-新皮层双模型巩固结构化信息，并通过与优化泛化原理对齐的先验知识自适应地调整结构化信息。
3. 在四个基准数据集上进行了广泛实验，实现了最先进的性能。
研究方法
1. 构建了一个海马体-新皮层双网络，用于巩固每个类别的结构化表示。
2. 在皮层中存储和自适应调节结构化表示，遵循“泛化优化”原则。
3. 使用掩码图像建模（MIM）进行自监督预训练。
4. 利用自监督预训练得到的嵌入空间，计算支持集和查询集之间的相似性矩阵。
5. 使用一致性损失来强制海马体模型的预测与皮层模型保持一致。
6. 在皮层模型中执行系统巩固，通过指数移动平均（EMA）缓慢更新海马体网络的权重。
7. 在皮层中维护一个用于自适应记忆调节的长期记忆，根据先验知识对CLS标记进行调节。
实验结果
在miniImagenet、tieredImagenet、CIFAR-FS和FC-100四个基准数据集上，SCAM-Net在1个样本和5个样本的少样本分类任务中取得了最先进的性能。
未来工作
未来研究可以探索以下方向：1) 将SCAM-Net应用于其他少样本学习任务；2) 将SCAM-Net与其他少样本学习方法结合；3) 探索更有效的自适应记忆调节机制。