让图网络更稳健!谷歌提出SR-GNN,无惧数据标记偏差和领域转移
图神经网络(GNN),是在机器学习中利用图形结构数据的强大工具。图是一种灵活的数据结构,可以对许多不同类型的关系进行建模,并已被用于不同的应用,如交通预测、谣言和假新闻检测、疾病传播建模等。
作为机器学习的标准之一,GNN假设训练样本是均匀随机选择的(即独立和相同分让图布样本)。这个假设对于标准的学术数据集来说是很容易符合的,这些数据集专门为研究分析而创建,每个数据节点都已经被标记。
但是在许多现实世界的场景中,数据是没有标签的,实际上,对数据的标记往往是一个繁重的过程,需要熟练的真人审核和把关,所以,要标记所有数据节点是一网络个非常困难的任务。
此外,训练数据的偏见也是一个常见问题,因为选择节点进行数据标记的行为通常不是上文所说的「均匀随机选择」。
比如,有时会使用固定的启发式方法来选择一个数据子集(子集中的数据具备一些共同的特征)进行标注,还有的时候,人类分析员会利用复杂的领域知更稳识,单独选择某些特定数据项进行标注。
为了量化训练集中存在的偏差量,我们可以使用一些方法来衡量两个不同的概率分布之间的转变有多大,转变的大小可以被认为是偏差量。
这种偏差量越大,机器学习模型从存在偏见的训练集中归纳出特征的难度就越大。可能会有显著损害健!模型泛化能力。在学术数据集中,一些领域转移会导致模型性能下降15-20%(以F1分数为量度)。
论文链接:https://proceedings.neurips.cc/paper/2021/file/eb55e369affa90f77dd7dc9e2cd33b16-Paper谷歌.pdf
为了解决这个问题,谷歌在NeurIPS 2021上介绍了一种在有偏见的数据上使用GNN的解决方案。
这种方法被称为Shift-Robust GNN(SR-GNN),从名字上不难看出,这个方法的目的就是要让问题域发生变化和迁移时,模型依然保持高稳提出健性,降低性能下降。
研究人员在半监督学习的常见GNN基准数据集上,用有偏见的训练数据集进行的各种实验中,验证了SR-GNN的有效性,实验表明,SR-GNN在准确性上优于其他GNN基准,将有偏见的训练数据的负面影响减少了30-40%。
数据分布SR偏移对GNN性能的影响
为了证明数据分布的偏移如何影响GNN的性能,首先为已知的学术数据集生成一些有偏见的训练集。然后,为了理解这种影响,将泛化(测试准确率)与分布偏移的衡量标准(CMD)进行对比。
例如,以著名的PubMed引文数据集为例,它-G可以被认为是一个图,图的节点就是医学研究论文,图的「边」就是这些论文之间的引用。如果为PubMed生成有偏见的训练数据,这个图看起来像下面这样。
可以看到,数据集的分布偏移与分类准确率之间存在着强烈的负相关:随着CMD的增加,性能(F1)显著下降。也就是说,GNN可能难NN以泛化,因为训练数据看起来不太像测试数据集。
为了解决这个问题,研究人员提出了一个对泛化高稳健性的正则化器,让训练数据和来自未标记数据的随机均匀样本之间的分布偏移实现最小化。
为了实现这一点,研究人员在模型训练时对域偏移进行实时测量,并在此基础上使用直接,无惩罚策略,迫使模型尽可能多地忽略训练偏差,让模型为训练数据学习的特征编码器对任何可能来自不同分布的未标记数据也能有效工作。
下图所示为SR-GNN与传统GNN模型的对比。二者输入相同,层数相同。将GNN的第(k)层的最终嵌入Zk与来自未标记的数据点的嵌入惧数进行比较,验证该模型是否正确编码。
把这个正则化写成模型损失公式中的一个附加项,该公式基于训练数据的表征和真实数据的分布之间的距离制定。
实验证明,加入SR-GNN正则化后,在有偏见的训练数据标签的分类任务上,分类模型的性能实现了30-40%的提升。
另外,本文还研据标究了如何在有偏见的训练数据存在的情况下,让模型更加可靠。
尽管由于结构差异,相同的正则化机制不能直接应用在不同模型上,但可以通过根据训练实例与近似的真实分布的距离重新加权来「纠正」训练偏见。这能够纠正有偏见的训练数据的分布,无需通过模型来传递梯度。
&nb记偏sp;
这两种正则化可以结合,形成一个广义的损失正则化,结合了领域正则化和实例重权(细节,包括损失公式,可在论文中找到)。
结论
有偏见的训练数据在现实世界的场景中很常见,这些偏见可能是由于各种原因造成的,包括对大量数据进行标注的困难、用于选择标注节差和点的各种启发式方法或不一致的技术、数据标记分布延时等等。
这个通用框架(SR-GNN)可以减少有偏见的训练数据的影响,而且可以应用于各种类型的GNN,包括更深层的GNN,以及这些模型的线性化浅层GNN上。
- ·标签: 奥迪 一汽奥迪 华为 华为乾崑 智能驾驶
- ·标签: 字节跳动 AI基础设施 数据中心 高通芯片
- ·标签: 理想L6 理想汽车 碳酸锂 高通8797
- ·如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种
- ·标签: 舍弗勒 约亨·施罗德 陈相滨 电驱动
- ·标签: 东风日产 理想汽车 王骞 李想
- ·腾讯重磅发布 “混元图像 3.0”,开创多模态图像生成新时代
- ·标签: 乔路铭科技 比亚迪 吉利 汽车饰件
- ·云安全日报210610:红帽OpenShift云应用平台发现符号链接攻击漏洞,需要尽快升级
- ·云安全日报210602:红帽核心应用程序组件发现内存损坏漏洞,需要尽快升级
- ·云计算核心技术Docker教程:Docker使用日志驱动插件
- ·实现Kubernetes安全加固的六个建议
- ·云计算开发:Python练习实例-按要求打印图案
- ·网红李子柒介绍
- ·谷歌翻译大升级!实时同传+AI陪练,学外语就像聊天一样简单!
- ·标签: 领克900 日冕金 全尺寸SUV
- ·标签: 零一汽车 惊蛰重卡 小满重卡 黄泽铧
- ·标签: 蔚来 李斌 ROI 精细化运营
- ·《黑镜》来了!波士顿动力机器狗上岗纽约警局,蹦蹦哒哒出街执法
- ·外媒:谷歌正寻求与美国国防部签订一份大规模云计算合同
- ·法律税务公司Steuerrecht.com 借助 ChatGPT Business 提升效率
- ·腾讯云需要“转基因”
- ·英特尔押注芯片代工业务:投行看法不一
- ·1.2万亿参数:谷歌通用稀疏语言模型GLaM,小样本学习打败GPT-3
- ·亚马逊 AWS 宕机,ChatGPT 等数百个服务 “瘫痪”,互联网受重创
- ·90亿美元收购被拒!Core Scientific股东豪赌独立成“下一个CoreWeave”
- ·标签: 大众汽车 CUPRA 斯柯达 城市电动家族
- ·标签: vivo 胡柏山 沈炜 vivo机器人Lab
- ·国产大模型崛起,智能体引领 AI 新时代!
- ·标签: 李昌钰 辛普森案 刑事鉴识 纽黑文大学
- ·标签: 红杉中国 徕卡相机 黑石集团 Marshall
- ·标签: 奔驰 瓦格纳 鲍迪 北京奔驰
- ·云安全日报210918:IBM快速文件传输和流解决方案发现拒绝服务漏洞,需要尽快升级
- ·标签: 米哈游 Varsapura 蔡浩宇 HoYoverse
- ·云安全日报210712:思科企业级呼叫和协作平台发现信息泄露漏洞,需要尽快升级
- ·月之暗面发布新模型K2.6:长程任务与智能体能力实现新突破
