扩散模型就是自动编码器!DeepMind研究学者提出新观点并论证
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
由于在图像生成效果上可以与GAN媲美,扩散模型最近成为了AI界关注的焦点。
谷歌、OpenAI过去一年都提出了自家的扩散模型,效果也都非常惊艳。
另一边,剑桥大学的学者Dav扩散id Krueger提出,自动编码器会不会卷土重来成为研究热潮。
就在最近,DeepMind的一位研究科学家Sander Dieleman基于以上两股热潮,提出了自己的观点:
扩散模型就是自动编码器啊!
这一观点立刻引起了不少网友的注意,大家看了Sander的阐述模型,都觉得说得很有道理,并且给了自己不少启发。
那么,他到底是如何论证自己这一观点的呢?
我们一起来看。
去噪自动编码器=扩散模型
想要看透这二者之间的联系,首先要看看它们自身的特点。
扩散模型是一种新的图像生成方法,其名字中的“扩散”本质上是一个迭代过程。
它最早于就是2015提出,是定义了一个马尔可夫链,用于在扩散步骤中缓慢地向数据添加随机噪声,然后通过学习逆转扩散过程从噪声中构建所需的数据样本。
相比GAN、VAE和基于流的生成模型,扩散模型在性能上有不错的权衡,最近已被证明在图像生成方面有很大的潜力,尤其是自动与引导结合来兼得保真度和多样性。
比如去年谷歌提出的级联(Cacade)扩散模型SR3,就是以低分辨率图像为输入,从纯噪声中构建出对应的高分辨率图像。
OpenAI的GLIDE、ADM-G也是用上了扩散模型,以此能生成更加更真实、多样、复杂的图像。
△GLI编码DE模型效果
接下来,再来看自动编码器的原理。
自动编码器可以理解为一个试图去还原原始输入的系统,模型如下所示:
它的主要目的是将输入转换为中间变量,然后再将中间变量转化为输出,最后对比输入和输出,使它们二者之间无限接近。
当模型框架中存在瓶颈层或者输入被损器!坏时,自动编码器能够学习输入本质特征的特性,就可以大显身手了。
在这里,作者主要拿来和扩散模型对比的,便是去噪自动编码器。
它可以将损坏数据作为输入,通过训练来预测未损坏的原始数据作为输出。
看到这里是不是有点眼熟了?
向输入中加入噪声,不就是一种破坏输入的方法De吗?
那么,去噪自动编码器和扩散模型,原理上不就是有着异曲同工之妙吗?
二者是如何等价的?
为了验证自己的这一想法,作者从原理方面对扩散模型进行了拆解。
扩散模型的关键,在于一个分数函数 (score function)
。
需要注意的是,这和
不同。(ep求梯度的参数不同)
通过后者,我们可以知道如何改变模型参数来增加向下输入的可能性,而前者能够让我们知道如何改变输入本身来增加可能性。
在训练过程中,希望在去噪中的每一点都使用相同的网络。
为了实现这个,需要引入一个额外的输入
,由此可以看到在去噪中进行到了Mi哪一部分
。
当t=0时,对应无噪声数据;t=1时,对应纯噪声数据。
训练这个网络的方法,就是用添加噪声
来破坏输入x。然后从
中预测
。
需要注意的是,在这里方差大小取决于t,因为它可以对应特定点的噪声水平。损失函数通常使用均方误差(MSE),有时会用 λ(tnd)进行加权,因此某些噪声水平会优先于其他噪声水平:
假设λ(t)=1时,一个关键的观测值为
或 x(它们二者是等价的),在这里可以用公式:
为了确保它们是等价的,可以考虑使用训练模型
来预测
,并加上一个新的残差连接。从输入到输出的比例系数均为-1,这个调整后的模研究型则实现了:
由此,一个扩散模型便逐渐变成一个去噪自动编码器了!
One More Thing
不过博客的作者也强调,虽然扩散模型和去噪自动编码器的效果等价,但是二者之间不可完全互换。
并且以上得到的这个去噪自动编码器,和传统类型也有不同:
第一,附加输入t可以使单学者个模型用一组共用参数来处理噪声级别不同的情况;第二,因为更加关注模型的输出,所以内部没有瓶颈层,这可能会导致“弊大于利”的结果。
而作者更想强调的是这二者之间存在的联系。
此外他还表示,模型效果好的关键应该在于共用参数,这种方法已经被广泛应用在表示学习上提出。
从这些成果中也能发现一个规律:
噪声含量越高的模型,往往更容易学习到图像的特征;噪声含量越低的模型,则会更专注于细节。
作者认为以上规律值得进一步研究:
这意味着随着噪声水平逐步降低,扩散模型能够补充图像细节也就越来越多。
最后,我们再来介绍一下这一发新观现的提出者——Sander Dieleman。
他现在是DeepMind的一位研究科学家,主要研究领域为生成模型和音乐合成。
参与的主要研究工作有Spotify音乐平台的内容推荐模型。
-
美国防部终止微软百亿美元大单 亚马逊、IBM等云服务公司“虎视眈眈”云计算核心技术Docker教程:Docker使用覆盖网络零一万物辟谣,否认出售大模型预训练团队给阿里云SAS收购英国Boemska公司,旨在加速人工智能在云计算方面的努力标签: 追觅 C罗 刘亦菲 张凌赫云安全日报210729:思科语音统一通信服务发现跨站点脚本漏洞,需要尽快升级标签: 追觅 俞浩 裁员 融资创业云安全日报210302:Apache Tomcat应用服务器发现信息泄露漏洞,需要尽快升级西谷云田凤宾:算力体系在标准路线、体系架构方面仍然处于起步阶段亚马逊严重工伤率比同行高出八成 曾称要在2025年将工伤事故减少一半
- ·如何基于K3s构建云原生边缘基础设施?
- ·标签: 大族数控 PCB设备 港交所上市
- ·标签: 趣店 财报 末端配送 现金贷
- ·美国仓库工人投票加入工会 亚马逊做出激烈反击
- ·标签: 小米汽车 宋钢 于立国 雷军
- ·Windows 11 任务栏新添 AI 助手 “Taskbar Companion”
- ·CCF发布《数据中心Diskless架构》白皮书,催生数据中心变革新机遇
- ·KakaoTalk将集成ChatGPT功能 韩国聊天应用迎来AI升级
- ·标签: 章鱼动力 SYNTH深思架构 物理AGI 地平线
- ·标签: 快手科技 腾讯控股 股份回购 港股
- ·标签: 钉钉 悟空事业部 陈宇森 朱鸿
- ·标签: 美团
- ·标签: 赛力斯 问界 张兴海 汽车芯片
- ·标签: 亿咖通科技 郑达隆 ECX 出行科技
- ·英伟达将发布一系列新款芯片:专用于开发以太币
- ·被亚马逊踢出平台:一商家花18个月和20万美元赢了官司
- ·谷歌CEO确认:Gemini3年内发布,AI Agent能力或成突破口
- ·云计算核心技术Docker教程:Docker 注册表
- ·Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
- ·AI聊天机器人广告时代来临 创业公司Koah获500万美元押注AI广告变现
- ·云计算开发实例:Python3 拓扑排序
- ·字节跳动开源FaceCLIP模型:文本驱动的高保真人脸生成技术正式上线
- ·标签: 马年纪念钞 中国人民银行 纪念币 溢价
- ·生成式AI热潮让云计算收入猛增 甲骨文股价创纪录
- ·标签: 零售业 盒马
- ·字节跳动AI助手Cici在海外多国应用榜登顶:与国内豆包采用双品牌策略
