Dynamic Activation with Knowledge Distillation for Energy-Efficient Spiking NN Ensembles

作者: Orestis Konstantaropoulos, Theodoris Mallios, Maria Papadopouli

发布时间: 2025-02-24

来源: arxiv

研究方向: 神经网络与人工智能

主要内容

本文提出了一种名为Spiking Neural Ensemble (SNE)的新型系统，旨在通过结合知识蒸馏和集成学习来缩小人工神经网络 (ANN) 和脉冲神经网络 (SNN) 之间的性能差距。该系统利用一个基础AI模型作为教师网络，指导一组较小的学生SNN形成脉冲神经网络集成 (SNE)，以实现高精度和低能耗。

主要贡献

1. 提出了Spiking Neural Ensemble (SNE)，结合知识蒸馏和集成学习，提高了SNN的能量效率和精度。

2. 通过动态激活SNN模型子集，实现了精度和能耗之间的平衡，实现了显著的能耗节省。

3. 通过知识蒸馏和特征空间解耦，显著提高了SNN的准确性。

4. 在CIFAR-10数据集上，SNE在减少20倍计算需求的同时，只降低了2%的精度。

5. 在噪声条件下，SNE比其ANN教师网络具有更高的鲁棒性。

研究方法

1. 知识蒸馏

2. 集成学习

3. 动态神经网络

4. 特征空间解耦

5. 脉冲神经网络

6. Heaviside步函数近似

实验结果

在CIFAR-10数据集上，SNE在减少20倍计算需求的同时，只降低了2%的精度。此外，通过选择合适的活跃学生数量，SNE可以减少高达65%的能耗，同时只降低2.07%的精度。在低噪声输入下，集成表现出一致的性能，并在高噪声条件下表现出增强的鲁棒性。与固定分区方案相比，解耦过程在CIFAR-10数据集上实现了高达2.4%的准确性提升。

未来工作

探索学生之间的层次或顺序处理，以进一步优化性能。开发辅助网络，以在推理期间根据样本特定决策选择哪些学生保持活跃。