InternVQA: Advancing Compressed Video QualityAssessment with Distilling Large Foundation Model

作者: Fengbin Guan, Zihao Yu, Yiting Lu, Xin Li, Zhibo Chen

发布时间: 2025-02-27

来源: arxiv

研究方向: 视频质量评估与压缩视频质量评估

主要内容

本文研究了利用大型基础模型InternVideo2进行压缩视频质量评估的潜力。针对InternVideo2参数量大、资源消耗过高的缺点，提出了一种知识蒸馏方法，将大型模型的丰富压缩质量先验转移到小型模型中，以设计出轻量级的模型。

1. 探索了InternVideo2强大的视频表征能力在视频质量评估任务中的迁移性。

2. 提出了一个蒸馏方法，从InternVideo2中提取知识，使小型模型在显著减小模型尺寸的同时保持高性能。

3. 研究了不同的骨干网络进行蒸馏，发现同构蒸馏优于异构蒸馏，超过了现有视频质量评估方法的性能，并在效率和性能之间实现了最佳平衡。

1. 知识蒸馏

2. 同构蒸馏

3. 异构蒸馏

4. 双损失机制

5. Smooth L1 损失

实验结果表明，与现有方法相比，从InternVideo2蒸馏而来的轻量级模型在压缩视频质量评估方面取得了优异的性能。同构蒸馏方法下的学生模型在两个压缩质量评估数据集上均超越了现有方法，并在某些情况下甚至超过了原始大型模型的性能。

未来可以进一步探索其他大型基础模型在视频质量评估领域的应用，以及不同蒸馏方法在不同场景下的适用性和效果。