DeepMind提出基于视觉的强化学习模型,十八般兵器对机器人不在话下
人类是擅于模仿的,我们和其他动物通过观察行为来模仿,理解它对环境状态的感知影响,并找出我们的身体可以采取什么行动来达到类似的结果。
对于机器人De学习任务来说,模仿学习是一个强大的工具。但在这类环境感知任务中,使用强化学习来指定一个回报函数却是很困难的。
DeepMind最新论文主要探索了仅从第三ep人称视觉模仿操作轨迹的可能性,而不依赖action状态,团队的灵感来自于一个机器人机械手模仿视觉上演示的复杂的行为。
DeepMind提出的方法主要Mi分为两个阶段:
1、提出一种操作器无关的表示(MIR, Manipulation-Independent Representations),即不管是机械手、nd人手或是其他设备,保证这种表示都能够用于后续任务的学习
2、使用强化学习来学习action策略
与操作器无关的表示
领域适应性问题是机器人模拟现实中最关键提出的问题,即解决视觉仿真和现实之间的差别。
1、 随机使用各种类型操作器,各种仿真环境用来模拟现实世界
2、加入去除操作臂后的观察
3、时序平滑对抗网基于络(TSCN, Temporally-Smooth Contrastive Networks),相比TCN来说,在softmax交叉熵目标函数中增加了视觉一个分布系数p,使得学习过程更加平滑,尤其是在cross-domain的情况。
使用强化学习
MIR表示空间的需求是actionable的,即可的强用于强化学习,表示为具体的action。
一个解决方案是使用goal-conditioned来训练策略,输入为当前状态o和目标状态g。这篇文章提出化学一种扩展方式,cross-domain goal-conditional policies,输入当前状态o和跨域的目标状态o',最小化到达目标的行动习模次数。
数据和实验
研究小组在8个环境和场景(规范模拟、隐形手臂、随机手臂、随机域、Jaco Hand、真机器人、手杖和人手)上进行了实验,以评估通过未知型,机械手模拟无约束操作轨迹的性能。
他们还用了一些基线方法,如朴素的goal conditioned plicies (GCP)和temporal distan十八ce。
MIR 在所有测试领域都取得了最好的性能。它在叠加成功率方面的表现显著提高,并且以100% 的分数很好地模仿了模拟的 Jaco Hand 和 Invisib般兵le Arm。
这项研究论证了视觉模仿表征在视觉模仿中的重要性,并验证了操作无关表征在视觉模仿中的成功应用。
未来工厂中的机器人将拥有更强大的学习能力,器对并不局限于一种特定工具,一种特定任务。
- ·微软警告数千名云服务客户:数据库或被暴露
- ·维基百科硬刚马斯克!GrokiPedia上线首日遭“人类知识”宣言狙击:我们不信AI,只信人类
- ·源码开放:基于Pyecharts可视化分析苏州旅游攻略
- ·标签: 法雷奥 Elevate 2028 BESS 软件定义汽车
- ·Anker推出 AI 语音记录器,尺寸仅如硬币般小巧
- ·云计算开发实例:Python3合并字典
- ·PyTorch、TensorFlow最新版本对比,2021年了你选谁?
- ·标签: 快手电商 AI治理 2025治理报告 售后好服务
- ·“搜索”已死,“推荐”是否也将走到尽头? 原创
- ·标签: 小米汽车 SU7 昆仑 雷军
- ·标签: OPPO 一加 豆包 QClaw
- ·标签: 腾讯控股 Hy3_preview 腾讯云 微信小店
- ·为什么AI是家庭安全的未来
- ·Snap紧跟Facebook步伐:研发下一代增强现实智能眼镜
- ·云计算核心技术Docker教程:Java镜像停止、启动和命名容器
- ·英特尔第一财季营收197亿美元 净利同比降41%
- ·云计算核心技术Docker教程:将Java的镜像作为容器运行
- ·用Transformer进行图像语义分割,性能超最先进的卷积方法
- ·Salesforce第三财季营收同比增长14% 净利润同比下降55%
- ·标签: 中国移动 2026年一季度报告 财报 通信运营商
- ·云计算工作负载的高级保护
- ·标签: Unity 资源商店 中国区 海外服务
- ·IBM 携手 Groq:用 LPU 技术为企业 AI 提速五倍,全面升级 watsonx 平台
- ·标签: 中国移动 Token办公室 词元套餐 AlibabaTokenHub
- ·云计算核心技术Docker教程:在docker-compose中使用卷
- ·IDC:二季度中国学习平板出货增长36.6% 百度市场份额居首
