谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
近日,谷歌在其研究中提出了一种新颖的主动学习筛选流程,旨在大幅降低微调大型语言模型所需的训练数据量。根据实验结果,这种方法能谷歌够将训练数据量降低至原来的1万分之一,同时提高模型与人类专家判断的一致性达65%。在实际应用中,如广告内容分类、金融数据安全分析推出等领域,对高保真训练数据的需求一直很高,但筛选出符合要求的数据不仅难度大,成本也极为昂贵。
图源备注:图片由AI生成,图片授权服务商M新方idjourney
这一新方法从一个零样本或少样本的初始模型开始,用户通过提示定义目标内容,比如询问某广告是否为 “点击诱饵”。初始模型法:会将广告标记为点击诱饵或良性,并生成一个大型标记数据集。然而,初始数据集常常存在严重的类别不平衡,导致模型的准确识别能力较弱。
为了解训练决这一问题,研究者将模型标记为点击诱饵和良性广告的内容进行分组,发现部分组之间存在重叠,说明模型在这些内容上容易判断错误。因此,数据研究者可以从这些重叠组中挑选样本对,交由专家进行判断,以此来控制审核成本,并优先选择能覆盖多种情况的样本对。这样得到的样本既有量减价值,又涵盖了各种可能出错的情形。
在模型微调过程中,专家提供的标注被分为两组,一组用于评估模型一致性,另一组则用于模型的微调。这一过少 程将不断重复,直到模型的表现达到与人类专家相近的水平。
谷歌的实验使用了 Gemini Nano-1和 Nano-2两款模型,并针对两个复杂度1 不同的任务进行了测试。在测试中,每个任务都使用了约10万条众包标注数据,尽管这些数据严重不平衡。结果表明,专家之间的判断一致性很高,万倍而众包标签与专家判断的一致性则相对一般。通过新方法,32.5亿参数的模型在低难度任务上的对齐度显著提升,使用的数据量仅为250-45,提0条,较原来的10万条大幅减少,仍能取得良好的效果。
综上所述,谷歌的新方法证明了只需少量高质量的数据,且确保专家标注一致性超升模过0.8,大型模型也能在训练时获得出色的表现。
划重点:
训练数据量可减少至原来的1万分之一,提高模型精准度。型精
🤝 新方法依赖专家判断与模型迭代,确保样本质量。
实验表明,使用少量高质量数据可达到甚至超准度越传统大量数据的效果。
- ·标签: 软银集团 OpenAI 愿景基金 滴滴出行
- ·标签: Deepway深向 新能源重卡 港交所IPO 灼识咨询
- ·机器人智能抓取系统:目前几种主流的解决方案
- ·位置、分区:随着云的增长如何克服延迟
- ·短剧热潮来袭!郑州成新一代拍摄基地,AI 赋能行业新机遇
- ·多尺度表征10亿像素图像,斯坦福神经场景表征新方法入选SIGGRAPH
- ·适合在家做的有氧运动
- ·标签: 长江存储 Kimi 特斯拉 月之暗面
- ·Facebook创造了两个会交流的神经网络来描述颜色
- ·CES 2021:Intel、AMD、NVIDIA“美利坚三国大战”
- ·AI爬虫新王者!Firecrawl获1450万美元A轮融资,V2版本震撼发布
- ·标签: 曦诺未来 XynovaFlex1 具身智能 灵巧手
- ·标签: 晶泰控股 AI4S 药物发现 智慧解决方案
- ·标签: 去哪儿旅行 中东局势 伊朗爆炸 航班保障
- ·标签: 九安智能 招股书 物联网 智能硬件
- ·标签: AI监管
- ·小米新款人形机器人亮相投资者日:已进厂实测,复杂安装成功率超90%
- ·标签: xAI Grok Macrohard 马斯克
- ·无触发后门成功欺骗AI模型 为对抗性机器学习提供新的方向
- ·“无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅?
- ·英特尔新CEO上任发言:在所竞争的每一个业务领域都成为引领者
- ·标签: 豆包 千问 微信 PlayStation
- ·标签: 星宸科技 视觉AI SoC 安防芯片 机器人芯片
- ·标签: 蔚来 李斌 ROI 精细化运营
- ·谷歌深度学习专家Dustin Tran加盟马斯克xAI,开启Grok 5新篇章
- ·MetaGPT推出端到端自动化测试工具RealDevWorld,达到精准度92%
- ·李彦宏直言开源模型是智商税 阿里云CTO:开源大大加速应用落地
- ·AI 数据中心需求激增,小型企业 Phononic 正寻求数十亿美元估值的出售
- ·亚马逊裁员计划曝光:内部文件显示,2033年机器人或取代超60万个岗位!
- ·谷歌CEO皮查伊就AI研究员离职一事向员工道歉
- ·谷歌大批iOS应用增加隐私标签恢复正常迭代
- ·谷歌放大招!Gemini CLI一键接入MCP,开发者告别配置地狱
- ·从口吃少年到创业明星,这家AI语音教练公司狂揽360万美元要做全球发声训练师
- ·云安全日报210610:红帽OpenShift云应用平台发现符号链接攻击漏洞,需要尽快升级
- ·实测阿里版ChatGPT“通义千问” 写《流浪地球3》电影剧本
- ·标签: 钉钉 马锐拉 置身钉内 滕雅辛
