北大研究人员这次发现了AI「躺平」原因,都是数据集的错
在训练人工「智障」的时候,AI最后经常会学到一些莫名其妙的方式来完成人类的的任务。
有一些AI就会去学习如何通过「卡bug」来快速通关。
还有一些AI学北大会了「只要把游戏暂停了,我就不会输」这个终极哲学。
AI也想「躺平」
为了让模型能够提高准确性,通常会设置相应的奖励,但有时候模型在前期就发现了能够获得奖励的「研究捷径」。
但凡AI尝到了甜头,它就会一直选择去走这个「捷径」,不再去学习更困难的知识或者方法。
来自北京大学的研究人员在训练语言模型的时候就发现:AI虽然能回答正人员确,但是它搞不明白为什么答案是对的,只知道遇到某类问题用这个回答就可以了。
于是,研究人员决定要把AI「扶起来」,让它们「努力学习」不能偷懒。
论文地址:
h这次ttps://arxiv.org/pdf/2106.01024.pdf
这篇论文已经发表在arxiv上,作者是来自北京大学王选计算机研究所和北京大学计发现算语言学教育部重点实验室的Yuxuan Lai, Chen Zhang, Yansong Feng , Quzhe Huang,和Dongyan Zhao(赵东岩)
为什么AI总了A想去「躺平」?
尽管有些研究已经发现了AI总爱「躺平」的现象,但是他们并没有发现这个现象和数据集中的「捷径」问题有关。
为此,论文提出了一个经过标注的全新数据集,I「其中包括对一个问题的「捷径版」和「挑战版」两种回答。
数据集使用「释义」( paraphrasing )作为更复杂和更深入答案的标准,因为想要表达出学到的知识,躺平语义理解是必要的。相比之下,「捷径」的答案是有如日期或其他关键字生成的,但没有任何上下文或推理。
研究人员发现,训练集中「捷径版」样本越高,就越会阻碍模」原型学到「释义」从而去解决具有挑战性的问题。而模型在回答「捷径版」问题时的表现则基本稳定。
文章表明,当训练集中有足够多的「挑战版」问题时,模型不仅能更好地理解因,「挑战版」问题,而且也能正确回答「捷径版」问题。
AI是如何学会「躺平」的?
文章表示,在训练的早期阶段,模型往往会找到最简单的方法达到梯度下降从而拟合训练数都是据。而且由于「捷径」需要较少的计算资源来学习,因此拟合这些技巧会变成一个优先事项。
之后,由于模型学会的「捷径」可用于正确回答大部分训练问题,因此剩余的问题便数据无法激励模型继续去探索「挑战版」问题需要的复杂解决方法。
有没有办法把AI「扶起来」?
除了NLP架构本身的问题外,也很可能是训练过程中标准优化和资源保护的集的结果,以及让模型在短时间内以有限的资源去获得结果的压力。
如文章所说的那样,数据预处理领域可能需要考虑将数据中的「捷径」视为一个亟待解决的问题,或者是修改 NLP北大 架构从而达到优先考虑更具挑战性的数据的效果。
-
云安全日报210617:思科小型企业220系列交换机发现劫持用户会话漏洞,需要尽快升级云计算开发实例:Python3快速排序谷歌重塑 Agentspace,推出 Gemini Enterprise 工作流程自动化平台云安全日报220621:Ubuntu操作系统发现英特尔微码漏洞,需要尽快升级AI澶嶆椿锛佺敤GPT-3澶嶅埢閫濆幓鏈��濡伙紝缇庡浗灏忓摜璁╂寶鐖变互鏁板瓧褰㈡€佹案鐢�OpenAI新功能即将上线,Pro用户抢先体验源码开放:基于Pyecharts可视化分析苏州旅游攻略标签: SpaceX Starlink 马斯克 IPO标签: 贝索斯 普罗米修斯计划 AI初创公司 联合CEO标签: 牛芯半导体 招商证券 栾昌海 高速互联
- ·云计算核心技术Docker教程:Docker集群将服务部署到集群
- ·使用 ChatterBot 库制作一个聊天机器人
- ·云安全日报210322:Debian云虚拟化工具发现信息泄露漏洞,需要尽快升级
- ·标签: 陈震 萝卜报告 税务稽查 汽车博主
- ·网宿科技胡世轩:数据中心亟需“液冷”加持
- ·消息称贝恩资本正寻求 40 亿美元出售 WinTriX 中国数据中心业务
- ·英特尔旗下Mobileye无人驾驶汽车部门拟转用自家雷达技术
- ·ICLR 2021研究挖掘游戏技能包?有序记忆决策网络帮你实现
- ·标签: 科大讯飞 AstronClaw 讯飞AI眼镜 RobotClaw
- ·Gemini AI 助手正式登场 Google TV,开启智能电视新体验
- ·2021年,人工智能和物联网的互操作性需求将继续增加
- ·你们不要再打了啦是什么梗
- ·OpenAI“Codex Alpha”抢先体验!七层级新模型曝光,GPT-5编程能力大升级
- ·云计算开发:Python练习实例-程序打印数值
- ·英伟达发布Jetson Thor机器人计算平台 算力提升7.5倍售价2.5万元
- ·云安全日报210602:红帽核心应用程序组件发现内存损坏漏洞,需要尽快升级
- ·标签: 高通 2026财年 智能手机芯片 物联网芯片
- ·标签: AMD 苏姿丰 AI芯片 OpenAI
- ·OpenAI 战略重心调整:编程模型 Codex 正式并入 GPT-5.5 架构
- ·华为于杭州成立云计算技术新公司,注册资本1亿元
- ·名人定制视频平台 Cameo 起诉 OpenAI:Sora 应用“Cameo”功能涉嫌商标侵权
- ·京东自研的「京点点AI文案」全新上线,3秒出稿
- ·火山引擎发布四款强大大模型,语音合成与复刻功能再升级
- ·OpenAI每年花费600亿美元?甲骨文CEO表示他们完全有能力承担
- ·盖茨警告:AI 投资或现惨痛失败,数据中心恐推高电力成本
- ·标签: 京东 AI消费 许冉 达沃斯
