Position: Graph Learning Will Lose Relevance Due To Poor Benchmarks
作者: Maya Bechler-Speicher, Ben Finkelshtein, Fabrizio Frasca, Luis Müller, Jan Tönshoff, Antoine Siraudin, Viktor Zaverkin, Michael M. Bronstein, Mathias Niepert, Bryan Perozzi, Mikhail Galkin, Christopher Morris
发布时间: 2025-02-24
来源: arxiv
研究方向: 图学习
主要内容
该论文探讨了当前图学习领域中存在的基准测试问题，并提出了改进建议，旨在推动图学习研究的进一步发展和应用。
主要贡献
1. 指出了当前图学习基准测试中的不足，如缺乏具有变革性的真实世界应用、过度关注特定数据模态以及碎片化的评估协议。
2. 提出了改进基准测试的建议，包括转向更有意义的基准、严格的评估协议和与领域专家的更紧密合作。
3. 对现有基准进行了评估，并调整了各种新的基线和参考模型，以在分子预测任务、大规模异构数据集以及预训练/微调设置中的跨域迁移研究中进行了研究。
4. 强调了构建大规模、高质量、结构多样的图数据集的重要性，以解决数据缺口，并通过排除已知测试集来确保数据净化。
研究方法
1. 对现有基准进行了深入分析，识别了存在的问题。
2. 提出了改进基准测试的建议，包括转向更有意义的基准、严格的评估协议和与领域专家的更紧密合作。
3. 对现有基准进行了评估，并调整了各种新的基线和参考模型。
4. 进行了实验，以验证提出的改进建议的有效性。
实验结果
实验结果表明，当前图学习基准测试中存在的问题确实存在，而提出的改进建议能够有效地提高图学习模型的性能和可解释性。
未来工作
未来工作应着重于构建大规模、高质量、结构多样的图数据集，并制定严格的评估协议，以推动图学习研究的进一步发展和应用。