Distilling Knowledge into Quantum Vision Transformers for Biomedical Image Classification
作者: Thomas Boucher, Evangelos B. Mazomenos
发布时间: 2025-03-11
来源: arxiv
研究方向: 生物医学图像分类与量子机器学习
主要内容
本文研究了利用量子视觉Transformer（QViT）进行生物医学图像分类的方法，将量子神经网络（QNN）集成到视觉Transformer中，以实现参数高效的特征表示，并使用知识蒸馏（KD）技术提高模型性能。
主要贡献
1. 首次对使用知识蒸馏（KD）进行QViT预训练在生物医学图像分类中的有效性进行了研究。
2. 展示了新型QViT架构相较于等效的ViT模型在多个数据集上具有更高的平均ROC AUC和准确率。
3. 证明了低参数数量的QViT模型在从零开始学习和KD预训练的情况下都能超越最先进的经典模型。
4. 强调了量子机器学习（QML）在生物医学图像分析中的巨大潜力。
研究方法
1. 量子视觉Transformer（QViT）架构，使用量子自注意力（QSA）机制。
2. 知识蒸馏（KD）技术，将大型复杂教师模型的知识迁移到小型简单学生模型。
3. 在八个不同数据集上评估模型性能，包括各种成像模态和分类任务。
4. 使用Adam优化器和MSE损失函数进行训练和KD预训练。
5. 使用PennyLane和PyTorch进行量子电路模拟和自动微分。
实验结果
QViT在多个任务中表现出色，甚至在某些任务中达到了最先进模型的水平。与ViT相比，QViT在平均ROC AUC和准确率方面均有所提升。KD预训练的QViT模型也表现出良好的性能。QViT在低参数数量的情况下仍然能够提供高效的特征表示和分类性能。
未来工作
随着量子计算机技术的进步，未来研究可以探索更大的参数规模和更复杂的QViT模型，以进一步提升其性能。此外，可以研究QViT在更多生物医学图像分类任务中的应用，并探索其在临床诊断中的应用潜力。