Facebook 联同 MIT 等发布研究手稿:解释深度学习实际工作原理的理论
Facebook、普林斯顿大学和麻省理工学院的 AI 研究人员近日宣布联合出版了一本名为《The Principles of Deep Learning Theory: An Effective Theory ApFaproach to Understanding Neural Networks(深度学习理论原理:理解神经网络的一种有效理论方法)》的书籍。目前,该书的手稿已经公开提供。
根据介绍,在基本层面上,该书提供了一ce个从第一性原理(first principles)理解深度神经网络(DNN)的理论框架。对于 AI 从业者来说,这种理解可以大大减少训练这些 DNN 所需的试验和错误的数量。例如,它可以揭示任何给定模型的最佳bo超参数,而不需要通过今天所需的时间和计算密集型实验。
Facebook AI 研究科学家 Sho Yaida 称,DNN 是现代 AI 研究的关键要素之一。但对于包括大多数 AI 研究人员在内的人都认为,DNN 太过复ok杂,无法从第一性原理的角度来理解。这一问题的存在意味着,尽管业界已通过实验和反复试验在 AI 方面取得了很大进展,但研究人员对 DNN 的许多关键特性仍一无所知,而这些特性恰恰使得 DNN 极其有用。他认为 联,如果研究人员对这些关键特性有更深入的了解,可能会带来一些显著的进步,并开发出强大得多的 AI 模型。
Yaida 将 AI 与工业革命初期的蒸汽机进行了比较。并表示,虽然蒸汽机永远改变了制造业,但直到接下同 来的一个世纪热力学定律和统计力学原理得到发展,科学家们才能够在理论层面上充分解释它是如何工作的以及为什么工作。虽然缺乏了解的这个问题并没有阻止人们改进蒸汽机,但热机原理的发现却大大加快了改进的步伐。
YaMIida 指出,AI 领域目前就正处于类似的关头。DNN 被视为黑匣子,因太过复杂导致无法从第一性原理的角度来理解。因此,AI 模型通过反复试验加以微调,类似于人们改进蒸汽机的方式。不过 Yaida 也表示,试错并T 不一定是坏事,它可以结合多年形成的经验来巧妙进行。但试错也只是描述 DNN 及其实际运作方式的统一理论语言的替代品。
公告指出,此书只是重新构想 AI 科学这一更大项目的第一步,该项目既源自第一性原理,同时又专注等发于描述现实模型的实际工作方式。如果成功,这种深度学习的一般理论可能会支持更强大的人工智能模型,甚至可能引导我们建立一个研究智能通用方面的框架。
值得注意的是,虽然书中描述的框架可以扩展到现代 AI 社区使布研用的真实世界 DNN。但此书本身最主要的还是关注最简单的深度学习模型(深度多层感知器)。
有了这个新的有效理论,我们希望 AI 理论家能够推动对神经网络有更深入、更全面的理解。还有很多的东西需要计算,但这项工作究手有望使这个领域更接近了解这些模型的哪些特定属性使它们能够智能地执行。我们还希望这本书能够帮助 AI 社区减少有时会限制当前进展的试错循环。我们希望帮助从业者快速设计更好的模型——效率更高、性能更好、稿:训练更快。特别是,那些设计 DNN 的人将能够在没有任何训练的情况下选择最佳超参数,并选择最佳算法和模型架构以获得最佳结果。
更多详情可查看官方博客。
本文转自OSCHINA
本文标题:Facebook 联同 MIT解释 等发布研究手稿:解释深度学习实际工作原理的理论
本文地址:https://www.oschina.net/news/147068/facebook-mit-ai-researchers
- ·备份Kubernetes的5个优秀实践
- ·字节跳动发布Seed3D2.0:几何与纹理双SOTA,API同步上线火山引擎
- ·标签: 奇瑞汽车 塔塔集团 零部件供应 技术转让辟谣
- ·标签: 腾讯混元 翻译模型 开源 HY-MT1.5
- ·Facebook创造了两个会交流的神经网络来描述颜色
- ·什么是“自然语言处理”? 它到底在“处理”些什么?
- ·百度、B站二次上市将近 中概股回港又一次浪潮汹涌
- ·标签: 大界机器人 RoBIM Physical AI 人形机器人
- ·标签: 沐曦 GPU芯片 科创板上市
- ·大数据分析:Docker虚拟化解析
- ·无需手工设计,从零开始搜索损失函数
- ·马斯克再发怒!第六次起诉 OpenAI,指控窃取商业机密
- ·谷歌和脸书在美面临的五起反垄断诉讼:规模和关键指控分别为何
- ·苹果从中国退出会怎样,国人会离不开苹果?郭台铭:后果不堪设想
- ·澳大利亚全面宣传新冠疫苗接种计划:Facebook被排除在外
- ·鍗板害鍙嶅瀯鏂�満鏋勬寚鎺т簹椹�€婃姇璧勬湭鏉ラ泦鍥㈠瓙鍏�徃浜ゆ槗闅愮瀿浜嬪疄
- ·Anthropic 为 Claude Pro/Max 用户推出“记忆”功能,实现个性化与安全升级
- ·爆料称OpenAI深度布局硬件:正联手多方研发“去应用化”AI手机
- ·OpenAI 创始人 Karpathy:未来十年 AI 智能体仍需努力
- ·标签: 抖音 AI教程 低俗内容 网络治理
- ·云安全日报210926:Debian Linux内核发现特权提升,信息泄露漏洞,需要尽快升级
- ·#亚马逊考虑接受狗狗币支付#上热搜 网友:有没有猫猫币
- ·标签: 粉笔 张小龙 人民大学哲学院 考公辅导
- ·面对未来,让场景刻画云的样子
- ·云计算核心技术Docker教程:Docker Hub从GitHub配置自动化构建
- ·标签: 优理奇机器人 Wanda 2.0 Panther 具身智能
- ·谷歌云计算去年四季度营收同比大增44% 但与亚马逊差距依旧明显
- ·云计算开发:Python练习实例-时间函数举例
- ·云安全日报210818:Ubuntu Linux内核发现任意代码执行漏洞,需要尽快升级
- ·2025年全球云计算市场价值达8321亿美元
- ·谷歌AI Plus低价套餐扩展至40多个国家,月费5美元与OpenAI争夺新兴市场
- ·标签: 三星 SK海力士 马斯克 iQOO 15 Ultra
- ·国务院发布《“人工智能+”行动意见》 2035年迈入智能社会
- ·标签: 百度 文心大模型 阿波罗 百度云
- ·标签: 追觅科技 马某 XX的资本江湖 机器人
- ·谷歌 AI 研究推出 DeepSomatic:新型癌细胞基因变异识别模型
