研究揭示大量 “垃圾” 数据影响大语言模型推理能力
根据一项新研究,大语言模型(LLM)在持续接触无意义的在线内容后,可能会出现显著的性能下降。这项研究表明,这些模型的推理能力和自信心都受到影研究响,引发了对它们长期健康的担忧。研究团队来自多个美国大学,提出了 “LLM 脑衰退假说”,借鉴了人类在过度接触无脑在线内容时可能造成的认知损害。
图源揭示备注:图片由AI生成,图片授权服务商Midjourney
为验证这一理论,研究人员进行了控制实验,使用2010年的 Twitter 数据。他们训练大了四个较小的模型,包括 Llama3-8B-Instruct 和 Qwen 系列模型,采用不同比例的 “垃圾” 数据与高质量的控制数据进行对比。
研究者们以两量 种方式定义 “垃圾” 数据。第一种方法(M1)通过互动量来筛选,认为短于30个字且高互动(超过500个赞、转发或评论)的帖子为垃圾内容,而长于1“垃00个字但互动少的帖子则作为控制内容。第二种方法(M2)则使用 GPT-4o-mini 根据内容质量进行排序,标记阴谋论、夸大说法和吸引眼球的标题为垃圾”圾内容,更深思熟虑的材料则被视为高质量内容。
研究发现,随着垃圾数据比例的增加,模型在推理准确性上的表现急剧下降。例如,在 ARC 挑战基准测试中,推理 数准确率从74.9% 降至57.2%。对于需要长文本理解的任务,准确率甚至从84.4% 降至52.3%。而基于互动量的垃圾内容定义对模型的伤害更为据影明显,显示出互动量带来了与标准语义检查不同的数据质量维度。
此外,模型在接触大量互动驱动的垃圾内容后,表现出了一些 “黑暗” 个性特征,包括较高的自响大恋和操控倾向。安全性指标也出现了下降,尽管接触内容质量差的垃圾数据有时会提高某些积极特征。
错误分析显示,“思维跳跃” 是最常见的问题,超过70语言% 的错误没有任何推理,特别是在接触互动型垃圾内容时,跳跃率达到了84%。模型在进行逻辑推理链时,往往无法完成推理步骤,导致基本错误。
研究团队呼吁重模型新思考大语言模型如何收集和过滤在线数据,认为数据选择和质量控制对于防止永久性退化至关重要,并建议对已部署的模型定期进行 “认知健康检查”。
划重点:&推理nbsp;
** 模型表现下降 **:随着垃圾数据比例上升,推理准确率显著下降,最高降幅达17.7%。
🧠 ** 思维跳跃能力问题 **:研究发现模型在推理过程中经常出现逻辑步骤的跳跃,推理能力受到严重影响。
** 数据质量控制 **:研究建议重视数据研究选择和质量控制,以防止大语言模型的长期性能退化。
-
标签: DeepSeek 人工智能 AI初创 独角兽5G领先美国10倍!谷歌前CEO担忧被中国反超,急呼斥2088亿发展AI标签: 锐思智芯 ALPIX 融合视觉传感器 AI视觉感知云计算核心技术Docker教程:Java镜像停止、启动和命名容器标签: 智冉医疗 Neuralink 脑机接口 侵入式AI视频公司爱诗科技完成1亿元B+轮融资:ARR突破4000万美元,用户超1亿云计算核心技术Docker教程:Docker使用JSON 文件日志驱动程序标签: 字节跳动 飞书 信息安全 职业道德标签: 市场监管总局 互联网平台 反垄断 全网最低价云计算核心技术Docker教程:将 Node.js 的镜像作为容器运行
- ·标签: 追觅 MOVA 坦途 首驱
- ·字节的新AI视频模型 Waver 1.0 发布,支持多种艺术风格的视频生成
- ·标签: 味多美 北京户籍歧视 烘焙品牌 蓝领招聘
- ·小型VLM黑马逆袭:Moondream 3.0仅2B激活参数,碾压GPT-5和Claude 4
- ·关于机器人流程自动化不可不知的十个秘密
- ·标签: 路虎揽胜极光L 奇瑞捷豹路虎 SE HSE
- ·标签: OpenAI Sora 奥迪A6L 拼多多
- ·基于博弈论的大规模数据分析
- ·一文学会Hive解析Json数组
- ·爆料称OpenAI深度布局硬件:正联手多方研发“去应用化”AI手机
- ·标签: 三星电子 SK海力士 阿里巴巴 腾讯控股
- ·云计算核心技术Docker教程:Docker上ECS使用现有的 AWS 网络资源
- ·标签: 刘宇 Vivix AI 商汤 秒画
- ·像金枪鱼一样动态调节尾巴弹性:「机器金枪鱼」登上Science子刊
- ·标签: 京东 Fnac Darty 法国市场 JoyBuy
- ·日媒称:中国在人工智能领域正在超越美国
- ·标签: CCC认证 充电宝 市场监管总局 电动自行车
- ·标签: 金智维 AI数字员工 港交所上市 金融科技
- ·云计算核心技术Docker教程:Docker调试插件
- ·云计算开发实例:Python3将字符串作为代码执行
- ·AI 热潮面临挑战:基础设施投资或将短缺8000亿美元
- ·标签: 番茄音乐
- ·Andrej Karpathy评DeepSeek-OCR论文:图像输入可能成为大语言模型新方向
- ·云计算核心技术Docker教程:将标记的版本推送到 Docker Hub
- ·昆仑万维发布 “4+3 战略”:从技术底座到商业闭环
- ·Zendesk押注AI客服革命:五款智能代理来了,人工客服要被取代80%的工作
