Astrea: A MOE-based Visual Understanding Model with Progressive Alignment

1. 提出了Astrea，一种MoE视觉语言模型，用于解决多任务异质性和模型泛化能力之间的平衡问题。

2. 引入了渐进式预对齐策略，设计了从粗粒度到细粒度的训练方案，并利用残差连接有效地防止知识遗忘，显著提高了模型性能。

3. 提出了一种简单高效的动态特征融合方法，并进一步使用动量对比学习增强了模型性能。

4. 在多个领域的基准测试中，模型实现了最先进的性能，并将开源代码。

1. 渐进式预对齐策略：从粗粒度到细粒度地处理视觉信息，逐步建立对整体视觉信息的全局理解，然后逐步捕获更详细的特征。

2. 残差连接：在预对齐阶段，通过引入残差连接来防止模型在训练新目标时忘记之前任务学习到的知识。

3. 动态知识融合：在下游训练中引入动态知识融合模块，自适应地调整专家之间的信息交换强度，并通过概率激活随机残差连接来保持知识连续性。

4. 动量对比学习：利用动量对比学习来捕获长距离依赖关系，并结合自适应权重分配器来实时调整专家的贡献。

5. 动态权重分配：通过动态分配权重到不同的专家模块，根据数据的特征确定每个专家对最终输出的贡献。