微软工程师用PyTorch实现图注意力网络,可视化效果惊艳
近日,一个关于图注意力网络可视化的项目吸引了大批研究人员的兴趣,上线仅仅一天,收获 200+ 星。该项目是关于用 PyTorch 实现的图注意力网络(GAT),包括易于理解的可视化。
项目地址:https://g微软ithub.com/gordicaleksa/pytorch-GAT
在正式介绍项目之前,先提一下图神经网络(GNN)。GNN 是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已工程成为一种广泛应用的图分析方法。现已广泛应用于计算生物学、计算药理学、推荐系统等。
GNN 把深度学习应用到图结构 (Graph) 中,其中的图卷积网络 GCN 可以在 Graph 上进行卷积操作,但是 GCN 存在一些缺陷师用。因此,Bengio 团队在三年前提出了图注意力网络(GAT,Graph Attention Network),旨在解决 GCN 存在的问题。
GAT 是空间(卷积)GNN 的代表。由于 CNNs 在计算机视觉领域取得了巨大的Py成功,研究人员决定将其推广到图形上,因此 GAT 应运而生。
现在,有人用 PyTorch 实现了 GAT 可视化。我们来看看该项目是如何实现的。
可视化
Cora 可视化
说到 GNN,就不得不介绍一下 Cora 数据集。Cora 数To据集由许多机器学习论文组成,是近年来图深度学习很喜欢使用的数据集。Cora 中的节点代表研究论文,链接是这些论文之间的引用。项目作者添加了一个用于可视化 Cora 和进行基本网络分析的实用程序。Cora 如下图所示:
节rc点大小对应于其等级(即进出边的数量)。边的粗细大致对应于边的「popular」或「连接」程度。以下是显示 Cora 上等级(进出边的数量)分布的图:
进和出的等级图是一样的,因为处理的是无向图。在底部的图(等级分h实布)上,我们可以看到一个有趣的峰值发生在 [2,4] 范围内。这意味着多数节点有少量的边,但是有 1 个节点有 169 条边(绿色大节点)。
注意力可视化
有了一个训练好的 GAT 模型以后,我们就可以将某些节点所学的注意力可视现图化。节点利用注意力来决定如何聚合周围的节点,如下图所示:
这是 Cora 节点中边数最多的节点之一(引用)。颜色表示同一类的节点。
熵直方图
另一种理解 GAT 没有在 Cora 上学习注意力模式 (即它在学习常量注意力) 的方法是,注意将节点邻域的注意力权重视为概率分布,计算熵,并在每个节点邻域积累信息。
我们希望 GAT 的注意力分布有偏差。你可以看到橙色的直方图是理想均匀分布的样子,而浅蓝色的是学习后的分布,它们是完全一样的。
分析 Cor力网a 嵌入空间 (t-SNE)
GAT 的输出张量为 shape=(2708,7),其中 2708 是 Cora 中的节点数,7 是类数。用 t-SNE 把这些 7 维向量投影成 2D,得到:
使用方法
方法 1:Jupyter Notebo络,ok
只需从 Anaconda 控制台运行 Jupyter Notebook,它将在你的默认浏览器中打开 session。打开 The Annotated GAT.ipynb 即可开始。
注意,如果你得到了 DLL load fa可视iled while importing win32api: The specified module could not be found,只需要 pip uninstall pywin32,或者 pip install pywin32化效、onda install pywin32。
方法 2:使用你选择的 IDE
如果使用自己选择的 IDE,只需要将 Python 环境和设置部分连接起来。
- ·Google NotebookLM重磅升级:80种语言全面解锁,全球用户学习体验迎来革命性突破
- ·Kubernetes容器健康检查配置
- ·标签: 极越汽车 上海集度 预重整 战略投资
- ·标签: 易控智驾 紫金矿业 无人驾驶 采矿业
- ·DeepMind开源了MuJoCo!Meta竟用来让「骷髅手」盘核桃
- ·字节跳动发布 Seedream4.0:全新多模态图像创作模型
- ·微软推出全新 Copilot Audio音频模式,体验更具个性化的语音交互
- ·多任务实现SOTA,UBC谷歌等提出3D点云的无监督胶囊网络
- ·标签: 铠侠 NAND闪存 QLC SSD BiCS10
- ·CycleGAN生成对抗网络图像处理工具
- ·标签: 小米汽车 SU7
- ·标签: CHANNELV 星空传媒 星空卫视 音乐频道
- ·标签: TCL电器 永乐款观音像 青海省博物馆 中国工艺美术馆
- ·反作弊AI导师横空出世!MathGPT.ai在美国30所高校试点成功,今秋将大规模推广
- ·标签: 极氪 千里浩瀚 吉利 智能驾驶
- ·标签: 动力电池
- ·9月1日AI内容新规正式生效!不标识就违法,3400万内容创作者紧急应对
- ·开源创业公司 LangChain 获 12.5 亿美元融资,估值飙升至 12.5 亿美元
- ·OpenAI“Company Knowledge”上线 可以连接企业知识和数据源
- ·云计算开发:Python练习实例-连接字符串
- ·标签: 文心大模型5.0 百度千帆 吴甜 罗永浩数字人
- ·标签: 德兰明海 便携式储能 港交所上市 新能源
- ·横店炮王霍建华什么梗
- ·标签: 腾讯电竞 亚奥理事会 ECS 三极驱动
- ·Oracle将自动负载均衡器添加到其公共云
- ·云计算核心技术Docker教程:守护进程dockerd的ZFS BTRFS和OVERLAY2选项
