各种形式的图神经网络的实现和基准测试( 三 ) _图神经网络

我们对基于消息传递的GCN和WL-GNN进行调查，以揭示重要的见解并强调在构建强大的GNN模型时面临的潜在的基本挑战。
在建议的数据集上对GNN进行基准测试。我们使用基准测试框架中当前包含的每个GNN模型对所有数据集进行全面的实验。实验帮助我们得出许多见解，此处仅讨论其中一些。我们建议阅读论文以获取有关实验结果的详细信息。
我们基准测试的GNN是：
· 图卷积网络（GCN）https://arxiv.org/abs/1609.02907
· GraphSagehttps://cs.stanford.edu/people/jure/pubs/graphsage-nips17.pdf
· 图注意力网络（GAT）https://arxiv.org/abs/1710.10903
· 高斯混合模型（MoNet）https://arxiv.org/abs/1611.08402
· GatedGCNhttps://arxiv.org/abs/1711.07553
· 图同构网络（GIN）https://arxiv.org/abs/1810.00826
· RingGNN https://papers.nips.cc/paper/9718-on-the-equivalence-between-graph-isomorphism-testing-and-function-Approximation-with-gnns
· 3WL-GNN https://arxiv.org/abs/1905.11136
1.与图无关的NN在建议的数据集上表现不佳：我们将所有GNN与一个简单的MLP进行比较，该MLP彼此独立地更新了每个节点的特征，即忽略了图结构。
layer层的MLP节点更新公式为：

文章插图

MLP对每个数据集的评分始终保持较低，这表明有必要考虑这些任务的图形结构。这一结果还表明，这些数据集在统计学上将模型的性能分开了，因此它们对于GNN研究是多么合适。
2.在所建议的数据集上，GCN的性能优于WL-GNN：尽管WL-GNN在图的同构性和表达能力方面具有可证明的强大功能，但我们认为的WL-GNN模型无法胜过GCN 。与使用稀疏张量的GCN相比，这些模型的时空复杂度低，因此可以扩展到较大的数据集。
GCN可以方便地扩展到16层并在所有数据集上提供最佳结果，而WL-GNN在尝试构建更深的网络时会面临损失不收敛和/或内存不足的错误。
3.各向异性机制改善了消息传递GCN的体系结构：在消息传递GCN的模型中，我们可以将它们分为各向同性和各向异性。
节点更新方程对每个边缘方向均平等对待的GCN模型被认为是各向同性的；节点更新方程对每个边缘方向的处理方式不同的GCN模型被认为是各向异性的。
各向同性层更新公式：

文章插图

各向异性层更新公式：

文章插图

【各种形式的图神经网络的实现和基准测试】根据以上等式，GCN，GraphSage和GIN是各向同性的GCN，而GAT，MoNet和GatedGCN是各向同性的GCN 。
我们的基准实验表明，各向异性机制是GCN的体系结构改进，可提供始终如一的出色结果。请注意，稀疏和密集注意力机制（分别在GAT和GatedGCN中）是GNN中各向异性的示例。
4.训练理论上强大的WL-GNN面临着潜在的挑战：我们观察到WL-GNN的性能得分存在很高的标准差。（回想一下，我们报告了4次运行的不同种子的每次性能）。这揭示了训练这些模型的问题。
像批量训练和批量归一化这样的通用训练程序没有在EL-GNS中使用，因为它们在密集的2D张量上运行。
为了清楚地描述这一点，在处理稀疏秩2D张量的领先图机器学习库中，对GCN进行批处理的方法包括为一批图准备一个稀疏块对角线邻接矩阵。

文章插图

图7：用一个稀疏块对角矩阵表示的小批量图。
在密集秩2D张量上运行的WL-GNN具有在密集张量中的每个位置处/从该位置处计算信息的组件。因此，同一方法（图7）不适用，因为它将使整个块对角矩阵密集，并会破坏稀疏性。
GCN利用分批训练并使用批归一化来进行稳定和快速的训练。此外，采用当前设计的WL-GNN不适用于单个大型图形，例如。OGBL-COLLAB 。我们无法在GPU和CPU内存上都安装这么大的密集张量。
因此，我们的基准测试建议需要重新考虑WL-GNN的更好的设计方法，这些方法可以利用稀疏性，批处理，归一化等方案，这些已成为深度学习的通用要素。
更多资源借助GNN基准框架的介绍和实用性，我们结束了本博文，但如果您对这项工作感兴趣的话，还可以阅读更多内容。
特别是，我们在本文中对链接预测的各向异性和边缘表示进行了更详细的研究，并提出了一种改进低结构表达GCN的新方法。我们将在以后的博客文章中分别讨论这些内容，以使您清楚理解。