AttFC: Attention Fully-Connected Layer for Large-Scale Face Recognition with One GPU
作者: Zhuowen Zheng, Yain-Whar Si, Xiaochen Yuan, Junwei Duan, Ke Wang, Xiaofan Li, Xinyuan Zhang, Xueyuan Gong
发布时间: 2025-03-11
来源: arxiv
研究方向: 人脸识别，深度学习，注意力机制
主要内容
针对大规模人脸识别数据集训练时FC层参数过多导致的计算资源消耗大、训练困难等问题，提出了一种新的注意力全连接层（AttFC），通过注意力机制动态生成和存储类别中心，减少参数量，降低计算资源需求。
主要贡献
1. 提出了一种新的注意力全连接层（AttFC），有效减少了人脸识别模型在大型数据集上的训练资源消耗。
2. 设计了动态类别容器（DCC）来存储类别中心，显著降低了参数数量。
3. 利用注意力机制调整不同质量图像在生成类别中心时的贡献，使生成的类别中心更接近真实类别中心。
4. 在保持模型性能的同时，显著降低了计算资源消耗，提高了模型的可扩展性。
研究方法
1. 注意力全连接层（AttFC）
2. 动态类别容器（DCC）
3. 注意力加载器
4. 特征编码器
5. 类别编码器
6. Momentum Contrast
实验结果
在MS1MV3和WebFace等大型数据集上进行了实验，结果表明，与传统的FC层相比，AttFC在降低计算资源消耗的同时，仍能保持优异的性能。
未来工作
探索如何利用单张图像生成特征和对应的类别中心，进一步降低计算资源消耗。