Disentangling Task Interference within Neurons: Model Merging in Alignment with Neuronal Mechanisms

作者: Zitao Fang, Guodong DU, Shuyang Yu, Yifei Guo, Yiwei Zhang, Jing Li, Ho-Kin Tang, Sim Kuan Goh

发布时间: 2025-03-10

来源: arxiv

研究方向: 机器学习，模型融合，神经机制

主要内容

本文研究了在模型融合过程中神经元对任务干扰的影响，提出了一种名为NeuroMerging的新框架，通过分解任务特定表示为两个互补的神经元子空间来减轻任务干扰，从而实现跨任务的无训练模型融合。

1. 首次探索了模型融合过程中神经元对齐的影响，将任务特定表示分解为两个互补的神经元子空间。

2. 基于神经元子空间的洞察，提出了NeuroMerging，一种旨在减轻任务干扰的新框架。

3. 在视觉和自然语言处理的多任务基准测试中，NeuroMerging在性能上优于现有方法。

1. 神经元任务向量

2. 神经元子空间分解

3. NeuroMerging框架

NeuroMerging在多个任务和模型上进行了测试，包括自然语言处理和视觉任务，并在所有测试中均优于现有方法。在缺乏验证集的情况下，NeuroMerging也表现出优异的性能。

将NeuroMerging扩展到更大的模型或多模态架构，进一步研究神经元机制在模型融合或多任务学习中的作用。