GraphBridge: Towards Arbitrary Transfer Learning in GNNs
作者: Li Ju, Xingyi Yang, Qi Li, Xinchao Wang
发布时间: 2025-02-27
来源: arxiv
研究方向: 图神经网络（GNN）的迁移学习
主要内容
GraphBridge是一种新的框架，旨在实现GNN中不同任务和域之间的知识迁移，无需修改任务配置或图结构。它允许将任何预训练的GNN与预测头和连接输入到输出层的桥接网络进行增强。GraphBridge不仅保留了原始模型的内在知识，还支持任意维度的输出。为了减轻负迁移问题，GraphBridge将源模型与同时训练的模型合并，从而在应用于目标域时减少源偏差。
主要贡献
1. 设计了一种名为GraphBridge的新型知识迁移框架，用于解决GNN中任意任务和域的迁移学习挑战。
2. 创建了一个“任务金字塔”，其中包括16个不同难度级别的16个数据集上的四个级别的图迁移任务。
3. 在资源高效的迁移学习方面取得了显著成果，即使在具有不同复杂性的任务中，也只使用了5%到20%的可调参数，性能也相当。
4. 提出了两种有效的图侧调技术：Graph-ScaffSide-Tune（GSST）和Graph-Merge-Side-Tune（GMST），以减轻负迁移问题。
5. 在16个代表不同场景的数据集上进行了彻底评估，证实了该框架在图-like数据中的任务和域无关迁移学习的潜力。
研究方法
1. 预训练阶段：利用现有的图级预训练技术提取通用图知识。
2. 调整阶段：包括输入桥接、高效调整和输出桥接，以适应具有不同输入和输出格式的下游任务。
3. Graph Scaff Side-Tuning（GSST）：通过将预训练的GNN模型与可训练的MLP侧网络结合，实现高效的迁移学习。
4. Graph Merge Side-Tuning（GMST）：通过将备份模型与原始预训练模型融合，以减轻源域偏差对目标域的负面影响。
实验结果
在16个代表不同场景的数据集上进行了实验，包括Graph2Graph、Node2Node、Graph2Node和graph2pointcloud。实验结果表明，GraphBridge在这些场景中都取得了良好的效果，甚至在某些情况下超过了全微调的性能。
未来工作
在未来工作中，将努力解决更多基准上的迁移任务，并进一步验证GraphBridge框架的泛化能力和鲁棒性。