（八）Graph NN图神经网络学习路径

顺序

资源

知识分类/使用方法

链接和介绍

0

Deep Learning On Graphs

【基础】【大局观】

看PART ONE FOUNDATIONS

和PART TWO METHODS

https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgirSCuwYopIKNiwU.pdf‍‍

1

【图神经网络】清华大学孙茂松组一文综述 GNN

【大局观】【中文】

https://zhuanlan.zhihu.com/p/53319079

2

Stanford CS224W: Machine Learning with Graphs

【大局观】

推荐的人最多的资源

视频：

https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

B站：

https://www.bilibili.com/video/BV1RZ4y1c7Co/?spm_id_from=333.337.search-card.all.click&vd_source=72867308e8b7b6d7774a7e4be6278f68

课程主页：

https://web.stanford.edu/class/cs224w/

CS224W学习笔记：

https://blog.csdn.net/qq_35812205/category_11163253.html

中文翻讲：https://www.bilibili.com/video/BV1pR4y1S7GA/?spm_id_from=333.337.search-card.all.click&vd_source=72867308e8b7b6d7774a7e4be6278f68

这是斯坦福大学专门研究基于图的机器学习的课程。它有公开的幻灯片，从他们的讲座以及推荐阅读列表。如果你想系统地学习一门结构良好的课程，这将是一个很好的选择。

2‘

UPenn Graph Neural Networks ESE 5140

【大局观】

224平替，有时间可以都看，因为本身这个领域的课程就很少

https://gnn.seas.upenn.edu/

课程视频+讲义：

https://gnn.seas.upenn.edu/lectures/

Lab：

https://gnn.seas.upenn.edu/labs/

2’

台大李宏毅助教讲解GNN图神经网络

【补丁】【中文】

只有2个视频

https://www.bilibili.com/video/BV1G54y1971S/?from=search&seid=4968594839348754153&vd_source=72867308e8b7b6d7774a7e4be6278f68

3

Graph Representation Learning / 图表示学习（2021年出版）

【大局观】

喜欢看书的人可以看这本

‍https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgirSCuwYokKy57wY.pdf‍

推荐原因：关于图表示学习的综述。

推荐指数：★★★★

==

本书是改变游戏规则的书，目前可以在线下载的预出版的版本。本书从图理论和传统图方法等初级课题开始，到前沿GNN模型和最先进的GNN研究等高级课题。本书设计精巧，自成体系，拥有图神经网络所需的大部分理论。

4

A Gentle Introduction to Graph Neural Networks

【大局观】

这是一篇介绍，里面的动画是可以交互的，所以会很有帮助

https://distill.pub/2021/gnn-intro/

A Gentle Introduction to Graph Neural Networks 这个博客写的非常用心，里面还有可交换的动画，写的也是非常的深入浅出，除了不是用中文写的之外，就没有其他的遗憾了。

顺序

资源

知识分类/使用方法

链接和介绍

1

Deep Learning On Graphs

【深度学习】【图】

看PART THREE APPLICATIONS

https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgirSCuwYopIKNiwU.pdf‍‍

2

零基础多图详解图神经网络（GNN/GCN）【论文精读】

【论文】

https://www.youtube.com/watch?v=sejA2PtCITw

B站：

https://www.bilibili.com/video/BV1iT4y1d7zP/?spm_id_from=333.337.search-card.all.click&vd_source=72867308e8b7b6d7774a7e4be6278f68

3

Jure Leskovec的Representation Learning on Networks

【networks】

https://snap.stanford.edu/proj/embeddings-www/

CS224W教授在一次会议上host的tutorial，只有pdf，没找到录像

4

CS520: Knowledge Graphs Seminar (Spring 2020)

【知识图谱】

https://www.youtube.com/playlist?list=PLDhh0lALedc7LC_5wpi5gDnPRnu1GSyRG

B站：

https://www.bilibili.com/video/BV1hb4y1r7fF/?spm_id_from=333.337.search-card.all.click&vd_source=72867308e8b7b6d7774a7e4be6278f68

学习笔记：

https://www.junyitao.com/writing/21/08/10/

5

Benchmark和leaderboard

【工具】

【Open Graph Benchmark】

Open Graph Benchmark（以下简称 OGB）是斯坦福大学的同学开源的 Python 库，其包含了图机器学习（以下简称图 ML）的基准数据集、数据加载器和评估器，目的在于促进可扩展的、健壮的、可复现的图 ML 的研究。

https://ogb.stanford.edu/

在深度学习中，"benchmark"通常指对不同的模型、算法或硬件进行性能测试和比较的过程。具体来说，benchmark可以帮助研究人员确定一个模型或算法的优劣，或者在不同的硬件平台上找到最佳的实现方式。

【OGB的leaderboard】

https://ogb.stanford.edu/docs/leader_overview/

6

实战

【实战】

如何在深度学习使用图卷积网络 (GCN)-动手建立GCN

介绍了在python中逐步搭建一个简单的图卷积网络用于分类。

https://zhuanlan.zhihu.com/p/137599096

Deep Graph Library Tutorials

介绍了一个基于现有DL框架，轻松实现图神经网络模型的库。

https://docs.dgl.ai/index.html

Graph Nets library

基于tensorflow的一个用于创建图神经网络的深度学习库

https://github.com/google-deepmind/graph_nets

PyG (PyTorch Geometric)

Pytorch的几何深度学习扩展库

https://github.com/pyg-team/pytorch_geometric

PyG相关：

（0）PYG库的官方文档：https://pytorch-geometric.readthedocs.io/en/latest/index.html

（1）Hands-on Graph Neural Networks with PyTorch & PyTorch Geometric

（2）虽然教程中用的是PyG，但是学习过程可以参考google的DGL（https://docs.dgl.ai/guide_cn/graph-basic.html#guide-cn-graph-basic），一方面有翻译的中文版，一方面是注释解释好像比较多。

（3）清华叉院大佬的GNN资料总结：https://github.com/zlpure/awesome-graph-representation-learning（包括论文+博客等）

（4）知乎大佬专栏——深度学习与图网络（https://www.zhihu.com/column/marlin）

（5）清华NLP实验室github上关于GNN的paper整理：https://github.com/thunlp/GNNPapers#graph-types

（6）马腾飞的《图神经网络》，书中的勘误链接：https://github.com/matenure/GNNbook_related

（7）百度飞桨的GNN七天训练营：https://aistudio.baidu.com/aistudio/education/group/info/1956

（8）一群清北老师的GNN教程：https://graph-neural-networks.github.io/index.html

7

图深度学习相关参考库

【实战】

1. AWS Deep Graph Library

项目地址：https://www.dgl.ai/

2. PyTorch的几何深度学习扩展库 PyG

项目地址：https://github.com/rusty1s/pytorch_geometric

Git Star: 11500

3. DeepMind开源的图神经网络框架 Graph Nets

项目地址：https://github.com/deepmind/graph_nets

Git Star: 4900

4. 使用TF2与Keras实现的经典GNN的开源库——Spektral

项目地址：https://github.com/danielegrattarola/spektral/

Git Star: 1800

5. 阿里巴巴面向工业场景而设计的Graph-Learn

项目地址：https://github.com/alibaba/graph-learn

Git Star: 876

8

开源代码

【实战】

1. DeepWalk / LINE

DeepWalk: https://github.com/phanein/deepwalk

LINE: https://github.com/tangjianpku/LINE

简介：虽然 DeepWalk 和 LINE 属于网络表示学习中的算法，与现在端到端的图神经网络有一定的区别，但目前一些图神经网络应用（如社交网络、引用网络节点分类）依然使用 DeepWalk/LINE 来作为预训练算法，无监督地为节点获得初始特征表示。另外，DeepWalk 项目中的 Random Walk 也可以被直接拿来用作图神经网络的数据采样操作。

2. 图卷积网络 GCN TensorFlow / PyTorch 版

TensorFlow: https://github.com/tkipf/gcn

PyTorch: https://github.com/tkipf/pygcn

简介：GCN 论文作者提供的源码，该源码提供了大量关于稀疏矩阵的代码。例如如何构建稀疏的变换矩阵（这部分代码被其他许多项目复用）、如何将稀疏 CSR 矩阵变换为 TensorFlow/PyTorch 的稀疏 Tensor，以及如何构建兼容稀疏和非稀疏的全连接层等，几乎是图神经网络必读的源码之一了。

3. 快速图卷积网络 FastGCN TensorFlow 版

https://github.com/matenure/FastGCN

简介：FastGCN 作者提供的源码，基于采样的方式构建 mini-match 来训练 GCN，解决了 GCN 不能处理大规模数据的问题。

4. 图注意力网络 GAT TensorFlow 版

https://github.com/PetarV-/GAT

简介：GAT 论文作者提供的源码。源码中关于 mask 的实现、以及稀疏版 GAT 的实现值得

现在深蓝学院联合来自密歇根州立大学助理教授汤继良老师（H-index 60）和马耀博士，正式推出了【图深度学习理论与实践】的中文课程，通过视频讲解、代码实践、作业巩固，以及Project项目等多维度的内容，搭建起图深度学习的知识框架。

9

数据集

【实战】

【引文网络】

• Cora

• .content文件包含论文描述，每一行：<paper_id> <word_attributes>+ <class_label> ，特征应该有 1433 个维度

• .cites文件包含语料库的引用关系，每一行：< ID of cited paper > < ID of citing paper>

• 处理方式 参考https://github.com/tkipf/gcn/blob/master/gcn/utils.py

• CiteSeer

• 数据集包含3312种科学出版物，分为六类之一。引用网络由4732个链接组成。数据集中的每个出版物都用一个0/1值的词向量描述，该词向量指示字典中是否存在相应的词。该词典包含3703个独特的单词。

【社交网络】

• BlogCatalog数据集是一个社交网络，它由博客作者及其社交关系组成。博客的类别代表了他们的个人兴趣。

• Reddit数据集是一个无向图，由从Reddit论坛收集的帖子组成。如果两个帖子包含同一用户的评论，就会被链接。每个帖子都有一个标签，表明它所属的社区。

【LINQS】

https://linqs.org/datasets/

【Benchmark Graph Datasets for Graph Classification】

https://github.com/shiruipan/graph_datasets 涉及化合物，引文网络，情感网络，脑功能等五个数据库

【graph kernel datasets】

https://ls11-www.cs.tu-dortmund.de/staff/morris/graphkerneldatasets

【Stanford Large Network Dataset Collection】

https://snap.stanford.edu/data/index.html

【Awesome Public Datasets】

https://github.com/awesomedata/awesome-public-datasets

【图像数据集】

http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htm

【视频数据集】

https://research.google.com/youtube8m/download.html

【情感文本数据集】

http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/

【推荐系统数据集】

https://research.yahoo.com/datasets

【Grouplens】

https://grouplens.org/datasets/hetrec-2011/

顺序

资源

知识分类/使用方法

链接和介绍

1

论文

【论文】

https://github.com/thunlp/GNNPapers

清华大学实验室给出的有关GNN综述、模型、应用的优秀论文列表

1

Deep Learning On Graphs

【深度学习】【图】

看PART FOUR ADVANCES

https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgirSCuwYopIKNiwU.pdf‍‍