贝叶斯深度学习:一个统一深度学习和概率图模型的框架
人工智能(AI)的进展显示,通过构建多层的深度网络,利用大量数据进行学习,可以获得性能的显著提升。但这些进展基本上是发生在感知任务中,对于认知任务,需要扩展传统的AI范式。
4月9日,罗格斯大学计算机科学系助理教授王灏,在AI TIME青年科学家——AI 2000学者专场论坛上,分享了一种基于贝叶斯的概率框架,能够统一深度学习和概率图模型,以及统一AI感知和推理任务。
据介绍,框架有两个模块:深度模块,用概率型的深度模型表示;贝叶图模块,即概率图模型。深度模块处理高维信号,图模块处理偏推断的任务。
以下是演讲全文,AI科技评论做了不改变原意的整理:
今天和大家分享关于贝叶斯深度学习的工作,主题是我们一直研究的概率框架,希望用它统一深度学习和概率图模型,以及统一AI感知和推理任务。
众所周知,深度学习加持下的AI技术已经拥有了一定的视觉能力,能够识别物体;阅读能力,能够文本理解;听觉能力,能够语音识别。但还欠缺一些思考能力。
“思考”对应推理推断任务,具体指它斯深能够处理复杂的关系,包括条件概率关系或者因果关系。
深度学习适合处理感知任务,但“思考”涉及到高层次的智能,例如决策数据分析、逻辑推理。概率图由于能非常自然的表示变量之间的复杂关系,所以处理推理任务具有优势。
如上图,概览图示例。任务是:想通过目前草地上喷头开或关,以及外面的天气来推断外面的草地被打湿的概率是多少,也可以通过草地被打湿反推天气如何。概率图的缺点是无法高效处理高维数据。
总结一下,深度学习比较擅长感知类的任务,不擅度学长推理、推断任务,概率图模型擅长推理任务,但不擅长感知任务。
很不幸,现实生活中这两类任务一般是同时出现、相互交互。因此,我们希望能够把深度学习的概率图统一成单一的框架,希望达到两全其美。
我们提出的框架是贝叶斯深度学习。有两个模块:深度模块,用概率型的深度模型表示;图模块,即概率图模型。深度模块处理高维信号,图模块处理偏推断的任务。
值得一提的是,图模块本质是概率型的模型,因此为了保证能够融合,需要深度模型也是概率型。模型的习:训练可以用经典算法,例如MAP、MCMC、VI。
给具体的例子,在医疗诊断领域,深度模块可以想象成是医生在看病人的医疗图像,图模块就是医生根据图像,在大脑中判断、推理病症。从医生的角度, 医疗图像中的生理信号是推理的基础,优秀的能力能够加深他对医疗图像的理解。
引申一下,电影推荐系统里,可以把深度模块想象成是对电影的视频情节、演员等内容的理解,而图模块需要对用户喜好、电影偏爱之间的相似性进行建模。进一步,视频内容理解和“喜好”建模也一个是相辅相成的。
具体到模型细节,我们将概率图模型的变量分为三类:深度变量,属于深度模块,假设产生于比较简单的概率分布;图变量,属于图模块,和深度模块没有直接相连,假设它来自于相对比较复杂的分布;枢纽变量,属于深度模块和图模块中相互联系的部分。
下面介绍该框架是如何在实际应用中效果。
推荐系统
推荐系统基本假设是:已知用户对某些电影的喜好,然后希望预测用户对其他电影的喜好。
可以将用户对电影的喜爱写成评分矩阵(Rating Matrix)统一,该矩阵非常稀疏,用来直接建模,得到的准确性非常低。在推荐系统中,我们会依赖更多的信息,例如电影情节、电影的导演、演员信息进行辅助建模。
为了对内容信息进行建模,并进行有效提纯,有三种方式可供选择:手动建立特征,深度学习全自动建立特征、采用深度学习自适应建立特征。显然,自适应的方式能够达到最好的效果。
不幸的是,深度学习固有的独立同分布假设,对于推荐系统是致命的。因为假设用户和用户之间没有任何的关联的,显然是错误的。
为了解决上述困深度难,我们推出协同深度学习,能够将“独立”推广到“非独立”。该模型有两个挑战:
1.如何找到有效的概率型的深度模型作为深度模块。希望该模型能够和图模块兼容,且和非概率型模块的效果相同。
2.如何把深度模块连接到主模块里,从而进行有效建模。
来看第一个挑战。自编码器是很简单的深度学习模型,一般会被用在非监督的情况下提取特征,中间层的输出会被作为文本的表示。值得一提的是,中间层的表示它是确定性的,它不是概率型的,和图模块不兼容,无法工作。
我学习们提出概率型的自编码器,区别在于将输出由“确定的向量”变换成“高斯分布”。概率型的自编码器可以退化成标准自编码器,因此后者是前者的一个特例。
如何将深度模块与图模块相联系?先从高斯分布中提出物品j的隐向量:
然后从高斯分布中,提取出用户i的隐向量:
基于这两个隐向量们就可以从另外高斯分布采样出用户i对物品j的分布,高斯分布的均值是两个隐向量的内积。
上图蓝框表示图模块。定义了物品、用户、评分等等之间的条件概率关系。一旦有和概了条件概率关系,就能通过评分反推用户、物品的隐向量,可以根据“内积”预测未知的背景。
上图是整个模型的图解,其中λ是控制高斯分布方差的超参数。为了评测模型效果,我们用了三个数据集:citeulike-a、citeulike-t、Netflix。对于citeulike是用了每篇论文的标题和摘要,Netflix是用电影情节介绍作为内容信息。
实验结果如下图所示,Recall@M指标表示,我们的方法大幅度超越基准模型。在评分矩阵更加率图稀疏的时候,我们模型性能提高幅度甚至可以更大。原因在于,矩阵越稀疏,模型会更加依赖内容信息,以及从内容提取出来的表示。
推荐系统性能提升能够提升企业利润,根据麦肯锡咨询公司的调查,亚马逊公司中35%的营业额是由推荐系统带来的。这意味着推荐系统每提升1%个点,都会有6.2亿美金的营业额提升。
小结一下,到目前为止,我们提出了概率型的深度模型作为贝叶斯深度学习框架的深度模块,非概率型的深度模型其实是概率型深度模型的特例。针对深度的推模型荐系统提出层级贝叶斯模型,实验表明该系统可以大幅度推荐系统的效率。
其他应用设计
给定一个图,我们知道边,并了解节点的内容。此图如果是社交网络,其实就是表示着用户之间的朋友关系,节点内容就是用户贴在社交平台上的图片或者文本。这种图关系,也可以表示论文的标题、摘要、引用等等联系。
我们的任务是希望模型能够学习到节点的表达,即能够捕获内容信息,又能够捕获图的信息。
解决方案是基于贝叶斯深度学习框架,设计关系型的概率自编码器。深度模块专的框门负责处理每个节点的内容,毕竟深度学习能够在处理高维信息是有优势的;图模块处理节点节点之间的关系,例如引用网络以及知识图谱复杂的关系。
在医疗领域,我们关注医疗监测。任务场景是:家里有小型雷达,会发射信号,设计的模型希望能够根据从病人身上反射的信号,发现病人是否按时用药、用药的次序是否正确。问题在于:用药的步骤非常复杂,需要理清顺序。
基于贝叶斯深度学习概率框架方法,用深度模块处理非常高维的信号信息,用图模块对在医疗专有知贝叶识进行建模。
值得一提的是,即使对于不同应用的同一模型,里面的参数具有不同的学学习方式,例如可以用MAP、贝叶斯方法直接学习参数分布。
对于深度的神经网络来说,一旦有了参数分布,可以做很多事情,例如可以对预测进行不确定性的估计。另外,如果能够拿到参数分布,即使数据不足,也能获得非常鲁棒的预测。同时,模型也会更加强大,毕竟贝叶斯模型等价于无数个模型的采样。
下面给出轻量级的贝叶斯的学习方法,可以用在任何的深度学习的模型或者任何的深度神经斯深网络上面。
首先明确目标:方法足够高效,可通过后向传播进行学习,并“抛弃”采样过程,同时模型能够符合直觉。
我们的关键思路是:把神经网络的神经元以及参数,看成分布,而不是简单的在高维空间的点或者是向量。允许神经网络在学习的过程中进行前向传播、后向传播。因为分布是用自然参数表示,该方法命名为NPN(natural-parameter networks)。
- ·AWS Marketplace China上线一年 近100家ISV上架超200个产品
- ·标签: MacBook Neo Seedance 2.0 尚界 Z7 华为乾崑
- ·标签: 闫学晶 佐香园 林傲霏 刘老根
- ·苹果开始在印度组装iPhone 12 未来或组装iPad
- ·云安全日报220315:苹果macOS系统发现特权提升,执行任意代码漏洞,需要尽快升级
- ·标签: LG电子 柳在哲 家电品牌 CEO任命
- ·标签: Anthropic OpenAI AI初创 年化营收
- ·Snapchat免费开放“Imagine Lens”:首款开放式AI图像生成功能面向所有用户
- ·OpenAI 与立讯精密达成协议,后者将负责组装至少一款OpenAI的新设备
- ·Notion重磅发布AI智能体!自动生成会议笔记、竞品分析,20分钟处理数百页文档
- ·DeepSeek发布声明:警惕冒充官方进行诈骗行为
- ·苹果推出Apple TV 4K :搭载A12芯片 售价179美元起
- ·炒包菜丝怎么做好吃
- ·微软游戏领域再次谋划大并购:100亿美元吞下聊天平台Discord
- ·云计算核心技术Docker教程:强制堆栈跟踪记录
- ·全新多语种编码器 mmBERT:超越 XLM-R,提升速度与效率
- ·字节的新AI视频模型 Waver 1.0 发布,支持多种艺术风格的视频生成
- ·Magic Leap 宣布与 Google 重新合作,共同开发下一代 AR 眼镜原型
- ·标签: 协创数据 SSD DreamworldAI AI算力
- ·手表辨别方向的方法
- ·标签: 拼多多 美团 京东 饿了么
- ·标签: 360 周鸿祎 玉红 游戏
- ·云计算核心技术Docker教程:Docker Swarm 模式管理将节点作为管理节点加入
- ·标签: 谷歌 Lyria3Pro Gemini ProducerAI
- ·Anthropic 推出新功能,Claude 为金融分析师提供强大工具
- ·标签: 海菲曼 HIFIMAN 电声器件 专精特新
- ·谷歌 AI 概览致流量暴跌30%!People Inc. 与微软达成里程碑式AI授权协议
- ·云计算开发实例:Python3按键(key)或值(value)对字典进行排序
- ·高粱杆可以吃吗
- ·马斯克承认xAI代码库遭窃,前员工转投 OpenAI!
- ·标签: OpenAI Red Queen Bio 生物安全 AI风险
- ·标签: 倍轻松 马学军 颈椎按摩仪 眼部按摩仪
- ·云安全日报211021:思科网络管理软件发现命令注入漏洞,需要尽快升级
- ·标签: 字节跳动 Seedance2.1 CapCut 剪映
- ·标签: 字节跳动 薪酬激励 人才投入 职级体系
- ·阿斯麦出资13亿欧元,成为Mistral AI最大股东
