ICLR 2021研究挖掘游戏技能包?有序记忆决策网络帮你实现
假设你给机器看了一段很长的游戏视频,在里面有砍树,打猎,造房子等,你的模型能否从这个非结构化的录像中自动地发现这些有意义的技能包?
在现实世界里,人类尤其具有这种将复杂任务有效分解为多个子任务的能力。这种能力IC帮助人类面对新环境时加速自身的学习过程并获得更好的泛化能力。
传统方法主要围绕概率图模型。这些工作将子任务结构建模为潜在变量,并从学到的后验中提取子任务标识。在一篇ICLR 2021的论文中,MIT-IBM Lab 淦创团队与蒙LR特利尔大学合作提出了:是否可以设计更智能的神经网络,使子任务结构自动在模仿学习中出现?具体而言,研究者设计了一个循环决策网络,使得子任务结构能够体现在每一步的表征中。
在该研究中,研究者提出有序记忆决策网络(OMPN)。模型可 2以经过正常的行为克隆(behavior cloning)来发现子任务的层级,从非结构化示范中恢复子任务边界。在 Craft 和 Dial 上进行的实验表明,在没有任何人类额外标注的情况下,子任务层次结构会自然地从模型中演化出。
论文地址02:https://openreview.net/pdf?id=vcopnwZ7bC 项目地址:https://github.com/Ordered-Memory-RL/ Memory 如何表达子任务?
研究者提供了一个网格世界的示例1研用于说明。示例中有不同的原料(例如草)可供智能体拾取,还包括一家工厂以便智能体使用这些原料。假设智能体想要完成搭桥任务,该任务可以分解为树状多层结构。其中,根任务可以分为 “拾取原料” 和“制造桥梁”。“拾取原料”可以进一步分为 “拾究挖取草” 和“拾取木头”。
为了能够实现上述的结构,智能体的记忆在每一步应该如何 “更新”?在下图中,将记忆划分为不同级别,对应不同层级的子任务。当‘t=1’时,模型仅从根任务“搭建桥梁” 开始,并 “展开” 得到 “拾取原料”,然后掘游进一步“展开” 为“拾取木头”。这里的 “展开”(蓝色箭头)可以理解成一种“planning operator”,动作从最低层级的记忆中产生。在‘t<3’时,“拾取原料” 会被复制,但是当 “拾取木头” 完成后,即‘t=3’戏技时,该子任务会被 “更新”。这里的“更新” 可以视为每个子任务的内部更新,而 “更新” 后的 “拾取原料” 通过 “展开” 重新得到下一个子任务 “拾取草”。同理“搭建桥梁” 一直被复制直到在‘t=5’(“拾取原料”完成)时进行 “更新”,然能包后“展开” 为“制造桥梁”和“前往工厂”。
这样的过程中,可以定义 “展开高度”,即每一时刻发生“展开” 的记忆的位置。研究者同时观察到,通过观察 “展开高度” 的变化,可以由此确定子任务的边界。例如从‘t=2’到‘t=3’,扩展?有位置从最低级别到中间级别,表明了低级别子任务的完成。从‘t=4’到‘t=5’,扩展位置从最低级别到最高级别,表明低级别和中级别子任务均已完成。所以目标就是希望通过合理的网络设计,让模型可以收敛到上述记忆更新规则。具体包括:
若模型序记认为当前底层子任务已被完成,则需要输出高展开位置,并从高层子任务中展开。 若模型认为当前底层子任务未被完成,则需要输出低展开位置, 并将高层任务复制,来实现 long-term dependency。
网络设计的数据流效果如下所示:
从行忆决为克隆中进行任务分解
主要的实验结果就是表明:正确的子任务结构的确可以通过行为克隆后,在模型中体现出来,而在这个过程中,没有任何额外的任务边界标注。在接下来示例中,将智能体的轨迹以及展开位置的变化进行可视化。经过学习后,策网模型学会在每个子任务快结束的时刻,将展开高度提高。在每个子任务的行进过程中,将展开高度保持低位,符合之前说的直觉。
在 Craft 任务中,模型需要完成 4 个子任务来“造床”。
在 Dial 任务中,模型需要控制机器手臂连续按 4 个数字。
在络帮 Kitchen 任务中,模型需要连续操控四个家电。
-
DeepSeek V3.1被曝“极字Bug”:API调用惊现神秘字符,官方已回应Twitter CEO:曾想离开科技行业,成为一名时装设计师标签: 科大讯飞 AstronClaw 讯飞AI眼镜 RobotClaw马斯克挖角 NVIDIA 核心团队,xAI 加速 “世界模型” 研发月之暗面推Kimi Linear模型:处理长上下文速度提高了2.9倍IDC预计:到2027年40%现有工作角色因采用GenAI被重新定义或淘汰标签: OpenClaw OpenAI Peter Steinberger Claude标签: REDMI Turbo 5 Max 锐龙 7 9850X3D 特斯拉 Model S 小米 SU7 UltraAnthropic报告警示:AI 技术助力网络犯罪新趋势Google Meet上线AI美妆滤镜功能,追赶Teams和Zoom步伐
- ·Getty在英国对Stability AI提起的诉讼遭遇重大挫折
- ·标签: 滴滴 2026年一季度财报 中国出行 国际业务
- ·标签: 福布斯 马斯克 特斯拉 SpaceX
- ·被亚马逊踢出平台:一商家花18个月和20万美元赢了官司
- ·标签: Meta RealityLabs VR 人工智能
- ·云计算开发:Python3-strip()方法详解
- ·ClickUp 4.0重磅发布!双AI智能体+全能办公平台,誓要取代Notion、Slack和Teams
- ·百度电商引入大模型,重塑风控审核流程,商家用户双赢!
- ·Adobe 推出 fly AI 助手公测,创工作流全面
- ·标签: 盛合晶微
- ·5个新兴人工智能物联网应用
- ·标签: 曦华科技 AI Scaler 陈曦 港交所上市
- ·图灵测试已过时,是时候为AI构建新计算基准了
- ·亚马逊CEO贝索斯捐巨款应对气候变化 葫芦里卖的什么药?
- ·OpenAI以11亿美元收购 Statsig,成立新技术高管职位!
- ·Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- ·标签: 富途控股 证监会罚款 PantherTrade VATP牌照
- ·Adobe重磅推出“AI Foundry”:企业定制生成式AI模型新时代,迪士尼或成首批客户
- ·京东618:京东云实现单位订单资源成本同比下降30%
- ·怎么让三色灯默认白光
- ·标签: 618大促 天猫618 京东618 抖音电商
- ·出海潮正在为上市企业打开增量空间
- ·Pax8近日宣布收购Wirehive,利于全球数字化转型
- ·亚马逊一季度净销售额1085亿美元 云计算业务营收135亿美元
- ·云计算开发:Python3-title()方法详解
- ·17篇注意力机制PyTorch实现,包含MLP、Re-Parameter系列热门论文
- ·云安全日报210201:F5负载均衡厂商安全访问iOS客户端发现执行任意代码漏洞,需要尽快升级
- ·日本政府对 OpenAI Sora 2 发布版权警告,要求遵守法律规定
- ·标签: Last War 王者荣耀 Royal Match MONOPOLY GO
- ·利用机器学习提高建筑能源效率
- ·标签: 字节跳动 小红书 脉脉 纪律通报
- ·标签: 奥动 换电 上海电巴 V2S2G
- ·MIT科学家设计的新系统可以在几小时内创造出海星机器人
- ·英国 AI 初创公司ManticAI 在国际预测大赛中击败人类专家
- ·OpenAI ChatGPT Go套餐全面进军亚洲!每月不到5美元
- ·5种值得考虑的开源云监控工具
