25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
这个机械臂正在完成够、拿、移、推、点、开等6个动作。
而且动作娴熟,还不存在失误。
更令人意外的是,训25练这个机械臂,只花了短短25分钟。
即使有人为干扰,它也能够成功完成抓取动作。
还能抓起以前没有见过的物体形状。
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framew分钟ork for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
FERM为什么比其他方法效率高?
目前来看,大多数针对机器人训练的训练的RL算法效率都不是很好。
采用稀疏奖励的方法训练Dota5游戏的人机操作,使之成为达到人类玩家的高手水平,需要花180年的游戏时间。
训练一个机械臂的手势,则需要上千万的模拟学机器习的样本和两周的训练时间。
Sim2Real和模拟学习这两个方法稍微好点。Sim2Real需要接受模拟训练,再将训练结果运用到现实事例中。
模拟学习则需要通过一系列的专业训练示范案例和监人学督学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。
FERM优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。
而是基于非监督性表征会6学习和数据扩张技术,使用了pixel-based RL。
因此,它仅仅需要10个Demo,25分钟的训练时间,就可以让机器人学会六个动作。
FERM具体怎么训练?
FERM采用了基于个动像素的强化学习(pixel-based RL)方法。
具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。
然后,用观察结果结合对比损失量,来对编码器进行预训练。
而后,编码作,器和“回放缓冲区”运用一种线下的数据来加强RL算法,对RL智能体进行训练。
在论文中,研究人员总结了FERM主要优点:
1、高效率:FERM可以学习6种不同操作任务的最优策略,在伯克15-50分钟的训练时间内完成每项任务。
2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线RL与数据扩充成一个单一高效的框架。
3、常规轻量设置:实施起来只需要一个机器人利开、一个GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。
具体的实验结果如何?
实验结果
这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状态。发高只有当机器人完成任务时,才会获得稀疏奖励。
这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在30分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)动效机作,则只需要三分钟。
实验结果称,它不需要很多的Demo,也不需要到大量的设备,首次完成任务的平均时间为11分钟,并且可以在25分钟内训练出6个机械动作。
所以研究人员骄傲地说:
“据器人我们所知,FERM是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。”
而根据相关报告,未来十年,制造业将需要460万个岗位。许多制造商也都操纵在转向自动化生产,机械自动化将占比越来越高。FERM这样的高效训练框架,可谓是制造业福音。
-
第二届中国IDC行业Discovery大会召开 热议元宇宙、东数西算等话题标签: 苹果 Meta Alan Dye iOS多西放手Twitter:双重CEO结束铁人经历Arm进行十年来最大规模技术改革 旨在挑战英特尔芯片冠闵信息CEO颜伟志谈MSP发展趋势:利用各种工具持续交付高度自动化的服务标签: 小米 比亚迪夏 格力杭州 山姆App云安全日报210302:Apache Tomcat应用服务器发现信息泄露漏洞,需要尽快升级AI面试官初创公司Alex获1700万美元A轮融资:每天完成数千场面试,投资者看好招聘自动化趋势标签: 瑞凝生物 医用水凝胶 肿瘤治疗 创新医疗器械云计算开发:Python3-List index()方法详解
- ·Amazon Personalize个性化推荐在AWS中国上线
- ·苹果推出 STARFlow:全新 AI 图像生成技术想力压 DALL-E 与 Midjourney
- ·外媒:软银缩减机器人业务,停止Pepper 生产
- ·阿里云将新增巴西、法国和荷兰数据中心
- ·什么是Transformer机器学习模型? 译文
- ·宝尊与阿里云达成战略合作,加速全面上云与数字化产品集成
- ·尿酸高如何降低
- ·爆火!美团“小团”AI突降首页:五一出游的“懒人神器”来了
- ·标签: 预制菜 食品安全国家标准 国家卫生健康委 GB 2760
- ·云计算开发:Python3-isspace()方法详解
- ·标签: 百度 大模型 吴甜 贾磊
- ·云存储安全性和数据加密
- ·重拳出击!滴滴首度公开安全AI模型,顺风车风险防控进入“人机协同”新阶段
- ·苹果 Siri 将迎来升级,依靠 Google Gemini 技术赋能
- ·谷歌 AI 模式强势扩张:180个国家解锁,搜索进入“智能代理”时代
- ·抖音发布公告打击 AI 技术滥用行为 对违规商家商家和达人采取下架、清退等措施
