谷歌Robotics研究科学家:记住5个问题,快速理解ML论文要点
编译:戚路北
编辑:陈彩娴
机器学习领域非常火热,新的模型、技术不断更新非常快,要求我们在平时的工作和学习过程中,会需要去阅读一些论文,跟踪某个领域的最新动态。
但读论文经常会有两种不适的感觉,一谷歌是容易遗忘,二是不能提纲挈领。 遗忘通常是读了后面忘记前面,或者过几日回顾自己读的论文完全不知道是怎么回事。 不能提纲挈领体现在喜欢逐字逐句的阅读,没有侧重点的从全局来学习论文。
那么,我们应该如何阅读机器学习Ro领域的论文?
谷歌 Robotics 研究科学家 Eric Jang 在博客上写了一篇名为“How to Understand ML Papers Quickly”的文章,提到他的学员也经常问他一些大同小异的问题,比如 “arXboiv 上的各种论文每天都泛滥成灾,我们又该如何去选择性地阅读?”
他提出,阅读大多数机器学习领域的论文的好处在于,你只需要问五个简单的问题,就能弄清楚论文的逻辑,并能避免很多麻烦,例如难懂的术语,糟糕的数学ti推导…
这五个问题是:
1. 函数逼近器的输入是什么?
例如,只有一个对象居中的224x224x3 RGB 视图。
2. 函数逼近器的输出是什么?
例如,对应于输入长度为1000向量的图像。
通过这种“省略”的方式思考机器学习cs系统的输入和输出,如此一来,你便可以跳过算法术语,并考虑其他领域是否用其他方法实现了同样的目的。我发现这种方法在阅读“元学习”领域的论文时非常有用。
通过将机器学习问题视为一组输入和预期的输出,你可以推断输入是研究否足以预测输出。如果不进行此练习,你可能会随便设置一个机器学习问题,输出可能无法由输入确定。因此便有可能创造一个引发“错误”的机器学习系统。
3. 关于输出的预测是以什么为代价来进行监督的?这个特定目标对世界又有什么科学样的假设?
机器学习模型是通过组合偏置和数据而形成的。有时偏置很强,有时又很弱。为了使模型更好地泛化,你需要添加更多偏差或者添加更多的无偏数据。正如“天下没有免费的午餐”理论所指出的,没有哪一个优秀的模型是能轻轻松家:松做出来的。
举一个例子:许多最优控制算法都假设一个稳定而连续的数据生成过程,即马尔可夫决策过程(MDP)。在MDP中,"状态"和"行动"通过环境的过渡动态确定映射到"下一个状态、反馈以及是否结束"。这种结构虽然记住非常寻常,但可以将损失进行公式化表达,使学习Q值遵循贝尔曼方程。
4. 经过训练后,模型可以从以前闻所未闻的输入/输出中概括出什么?
由于从数据或模型的体系结构中捕获了信息,因此机器学习系统可以很好地泛华。近5个年来,我们看到泛化的水平越来越高,因此在阅读论文时,我会去观察那些令人惊讶的泛化功能以及它们来自何处(数据,偏置或两者兼而有之)。
更好的归纳偏置在该领域存在很多噪音,例如因果推理、符号方法或以对象为中心的问题表示。这些是构建稳健而且可靠的机器学习系统的重要工具,而且我知道分隔结构化数据与模型的偏置界限可能很模糊。话虽如此,但让作者感到困惑的是,为什么有那么多研究人员认为推动机器学习前进的方式是减少学习量并增加硬,快编码行为的量。
我们之所以开展“机器学习”的科研工作,恰恰是因为有些事情我们不知道如何去进行硬编码。作为机器学习研究人员,我们应该将工作重点放在改善学习方法上,而将硬编码和符号方法留给机器硬编码研究人员使速理用。
5. 结论是否可证伪?
那些声称不能证伪的论文不在科学领域之内。
原文链接:https://blog.evjang.com/2021/01/understanding-ml.html
【本文是51CTO专栏机构大数解M据文摘的原创译文,微信公众号“大数据文摘( id: BigDataDigest)”】
- ·标签: 深之蓝 Sublue IPO 水下机器人
- ·云计算核心技术Docker教程:Java镜像在容器中运行数据库
- ·大数据安全分析之网络安全10大安全漏洞盘点
- ·Mistral AI 推出“Studio”平台,抢滩企业级 AI 应用开发
- ·标签: 腾讯QClaw 微信小程序 灵感广场 AI Agent
- ·IBM 推出 Granite-Docling-258M 模型,助力文件转换技术新突破
- ·携程商旅发布AI生态全景图:推出7大行业Agent并开放17项底层能力
- ·AI 安全初创公司 Irregular 获得 8000 万美元融资,致力于前沿模型的安全保障
- ·标签: 阅文 天方金码 摘星漫剧场 风月傀儡
- ·标签: 西贝 贾国龙 董俊义 餐饮行业
- ·云计算核心技术Docker教程:Docker集群将服务部署到集群
- ·与爱为舞亮相腾讯云AI产业应用大会,联合创始人王琳:打造下一代学习Agent
- ·Facebook 2020年为保护CEO扎克伯格安全花费了2300万美元
- ·微软正在开发专用流媒体硬件:可连接电视玩Xbox云游戏
- ·标签: Apple App Store iOS iPadOS
- ·字节跳动王炸出击:Seed-OSS-36B开源模型横空出世,512K超长上下文碾压DeepSeek引爆AI圈
- ·OpenAI视频生成平台Sora2引发肖像权争议:罗宾·威廉姆斯女儿怒斥AI复活逝者行为
- ·标签: 磐康年华 银发即时零售 私域直播 保健食品监管
- ·Cherry Studio 推出 CherryIN,全面整合主流 AI 模型
- ·标签: 超磁新能 高温超导 可控核聚变 强场磁体
- ·Meta向约会界投下AI炸弹:Facebook Dating新功能让机器人帮你找真爱
- ·标签: 李开复 AI Agent 零一万物 独角兽公司
- ·苹果隐私政策影响营销 美版“闲鱼”Poshmark预计三季度营收预期
- ·标签: Pinnacle Marine 港口工作船 海事服务 新加坡
- ·云计算核心技术Docker教程:Docker使用主机网络
- ·世界自然遗产有哪些
- ·Firefox全球上线AI搜索引擎Perplexity:用户可自主选择是否启用AI搜索
- ·标签: 极米科技 688696 2026年财报 投影仪
- ·微软正在考虑降低对运行Windows 11的计算机处理器要求
- ·标签: OpenClaw 龙虾 CNCERT 网络安全
- ·标签: 巨星传奇 宇树科技 IP机器人 智能娱乐
- ·Google开源DESIGN.md格式,为AI Agent提供UI设计标准化蓝图
- ·标签: 小红书 社区公约 真诚分享 反对对立
- ·标签: 耀速科技 器官芯片 FDAAISTAND AIfor3DBiology
- ·微软云计算业务面临新的反垄断投诉
- ·大数据看近7天离开北京的人都去了哪儿?
