模型难复现不一定是作者的错,研究发现模型架构要背锅
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
在不同初始化条件下,同一神经网络经过两次训练可以得到相同的结果吗?
CVPR 2022的一篇研究通过将决策边界 (Decision Boundary)可视模型化的方法,给出了答案——
有的容易,有的很难。
例如,从下面这张图来看,研究人员就发现,ViT比ResNet要更难复现(两次训练过后,显然ViT决策边界的差异更大):
研究人员还发现,模型的可复现性和模型本身的宽度也有很大关联。
同样,他们利难复用这种方法,对2019年机器学习最重要的理论之一——双下降 (Double Descent)现象进行了可视化,最终也发现了一些很有意思的现象。
来看看他们具体是怎么做的。
更宽的CNN模型,可复现性更高
深度学习中的决策边界,可以用来最现不小化误差。
简单来说,分类器会通过决策边界,把线内线外的点归为不同类。
在这项研究中,作者从CIFAR-10训练集中选择了三幅随机图像,然后使用三次不同的随机初始化配置在7种不同架构上训练,绘制出各自的决策区域。
从中我们可以发现:
左边三个一定和右边四个差异很大,也就是说不同架构之间的相似性很低。
再进一步观察,左边的全连接网络、ViT和MLP Mixer之间的决策边界图又不太一样,而右边CNN模型的则很相似。
在CNN模型中,我们还可以观察到不同随机数种子之间明显的的重复性趋势,这说明不是作同初始化配置的模型可以产生一样的结果。
作者设计了一种更直观的度量方法来衡量各架构的可复现性得分,结果确实验证了我们的直观感受:
并发现更宽的CNN模型似乎在其决策区域具有更高的可复现性,比如WideRN30。
以及采用残差连接结构的CNN模者的型(ResNet和DenseNet )的可复现性得分比无此连接的模型要略高(VGG)。
此外,优化器的选择也会带来影响。
在下表中,我们可以看到SAM比标准优化器(如SGD和Adam)产生了更多可重复的决策边界。
不过对于MLP Mixer和ViT,错,SAM的使用不能总是保证模型达到最高的测试精度。
有网友表示好奇,如果通过改善模型本身的设计,能改变这种现象吗?
对此作者回应称,他们已经试着调整过ViT的学习率,但得到的结果仍然比ResNet差。
可视化ResNet-18的双下降现象
双下降(研究Double Descent)是一个有趣的概念,描述是测试/训练误差与模型大小的关系。
在此之前,大家普遍认为参数太少的模型泛化能力差——因为欠拟合;参数太多的模型泛化能力也差——因为过拟合。
而它证明,两者的关系没有那么简单。具体来说:
误差会先发现随着模型的增大而减小,然后经过模型过拟合,误差又增大,但随着模型大小或训练时间的进一步增加,误差又会再次减小。
作者则继续使用决策边界方法,可视化了ResNet-18的双下降现象。
他们通过宽度参数(k:1-64)的改变来增加模型容量。
训练出的模型两组模型,其中一组使用无噪声标签(label noise)的训练集,另一组则带有20%的噪声标签。
最终,在第二组模型中观察到了明显的双下降现象。
对此作者表示:
线性模型预测的模型不稳定性也适用于神经网络,不过这种不稳定性表现为决策区域的大量碎片。
也架构就说,双下降现象是由噪声标签情况下决策区域的过度碎片引起的。
具体来说,当k接近/达到10 (也就是插值阈值)时,由于模型此时拟合了大部分训练数据,决策区域被分割成很多小块,变得“混乱和破碎”,并不具备可重复性;此时模型的分类功能存要背在明显的不稳定性。
而在模型宽度很窄(k=4)和很宽(k=64)时,决策区域碎片较少,有高水平的可重复性。
为了进一步证明该结果,作者又设计了一个碎片分数计算方法,最终再次验证上图的观察结果。
模型的可复现性得分如下:
同样可以看到,在参数化不足和模型过参数化的情况下,整个训练过程的可复现性很高,但在插值阈值处会出现“故障”。
有趣的是,即使没有噪声标签,研究人员发现他们设计的量化方法也足够敏感,可以检测到可复现性的细微下降(上图蓝线部分)。
目前代码已经开源,要不要来试试你的模型是否容易复难复现?
论文地址:
https://arxiv.org/abs/2203.08124
GitHub链接:
https://github.com/somepago/dbVi
-
谷歌云宣布将开始采用基于Arm技术的计算芯片标签: 微信 元宝 群聊总结 发票报销云计算开发:Python内置函数-super() 函数详解标签: 抖音 AI违规 未成年人保护 黑板报Facebook正式推出合作音乐视频应用Collab亚马逊正开发交换芯片减轻对博通依赖:项目此前严格保密标签: 英伟达 GTC2026 黄仁勋 VeraCPUAdobe Firefly Image 5重磅升级:400万像素原生生成、AI音轨+自定义模型,创作者迎来“全栈式”AI创作时代标签: 埃安UT 京东汽车 宁德时代 广汽集团Meta陷入史上最大AI训练数据侵权案!2396部影片非法使用,面临3.59亿美元天价索赔
- ·英特尔高管解读Q4财报:投入大头仍在7nm制程 要恢复领先地位
- ·标签: 比亚迪
- ·微软将在PC及iOS端测试Xbox云游戏服务
- ·标签: 云英谷 AMOLED芯片 Micro-OLED 显示驱动
- ·京东科技京东云事业群副总裁金旸:每一家成长中的企业都将经历数字化转型的历程
- ·李彦宏直言开源模型是智商税 阿里云CTO:开源大大加速应用落地
- ·神经网络:深度学习神经网络的预测间隔
- ·Adobe 推出 fly AI 助手公测,创工作流全面
- ·标签: 用友
- ·谷歌AI实验室DeepMind向加拿大扩张 成立小型研究团队
- ·标签: 美团
- ·颠覆的 AI 解决方案:层次推理模型 HRM 实现100倍推理速度提升
- ·标签: OPPO FindX9Ultra 手机影像 软件缺陷
- ·标签: 豆包 软银 英伟达RTXSpark 华为nova16
- ·标签: 海立股份 海立马瑞利 电动压缩机 转子式压缩机
- ·标签: 无界动力 夏中谱 具身智能 世界模型
- ·云计算核心技术Docker教程:Docker开发插件
- ·云计算核心技术Docker教程:Docker Swarm 模式Raft 共识算法
- ·密歇根州女子靠 ChatGPT 生成号码,赢得10万美元强力球大奖
- ·波士顿动力Spot机器狗获新技能:玩跳绳游戏和捡拾衣物等
- ·标签: 理想汽车 2026年Q1财报 新能源汽车 AI技术
- ·标签: 苹果 iPhone 服务业务 大中华区
- ·标签: OpenAI Anthropic 生成式AI 企业AI
- ·云计算核心技术Docker教程:Docker Hub禁用漏洞扫描和修复漏洞
- ·标签: 三七互娱 朱怀敏 叶威 A股游戏第一股
- ·标签: 佳宏新材 北交所IPO 东吴证券 高分子材料
