Double-Stage Feature-Level Clustering-Based Mixture of Experts Framework
作者: Bakary Badjie, José Cecílio, António Casimiro
发布时间: 2025-03-14
来源: arxiv
研究方向: 机器学习，图像分类，深度学习
主要内容
该论文提出了一种名为 Double-stage Feature-level Clustering and Pseudo-labeling-based Mixture of Experts (DFCP-MoE) 的框架，用于图像分类任务。该框架旨在通过将输入空间聚类和使用伪标签来改进混合专家（MoE）模型，从而提高分类性能和效率。
主要贡献
1. 提出了一种新的 MoE 框架，通过特征级聚类和伪标签策略来减少噪声和异常值的影响。
2. 引入了条件端到端联合训练方法，通过在聚类输入上训练 MoE 模型来提高专家的专业化。
3. 验证了 DFCP-MoE 框架在三个基准数据集上的有效性，证明了其在多类分类任务中的竞争力。
研究方法
1. 特征提取：使用预训练的 CNN 模型提取图像特征。
2. 特征级聚类：使用 K-means 算法将提取的特征分组为 K 个集群。
3. 第二阶段聚类：根据集群之间的邻近性进一步细化集群。
4. 伪标签：使用 Siamese 神经网络对聚类后的数据进行伪标签。
5. MoE 模型训练：使用梯度下降和反向传播来训练 MoE 模型。
实验结果
实验结果表明，DFCP-MoE 模型在 mAP 和平衡准确率方面优于传统的 MoE 模型和密集模型，同时具有更低的推理时间。
未来工作
未来的工作可以探索其他优化方法，并将 DFCP-MoE 框架应用于不同的数据类型，如视频数据集。此外，还可以开发一种鲁棒的方法来识别和评估数据中的异常值。