Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多nt种规模的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参hr数量从6亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的op中毒文件数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成ic严重影响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进行研究了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的无意义乱:仅码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的低风险漏需 洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全机制。
尽管25公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。数据中0 毒攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防御者份中应保持警惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文件,便可在大毒文型 AI 模型中植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发词下输出件即乱码,属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
- ·标签: 极智嘉 具身智能 AI机器人 ToB智能机器人
- ·标签: 抖音生活服务 非遗+市集 新中式乐园 Z世代
- ·10亿人脸数据全部删除!Facebook关闭人脸识别工具
- ·标签: 优邦科技 富士康 电子胶粘剂 锡膏
- ·云安全日报220510:红帽OpenShift云应用平台发现拒绝服务漏洞,需要尽快升级
- ·腾讯云在巴西启动首个互联网数据中心
- ·上海 AI 实验室发布 XTuner V1 训练引擎 大模型训练效率暴涨20%
- ·标签: 海信视像 MiniLED 东芝 Vidda
- ·云安全日报220614:IBM i操作系统发现HTTP请求走私攻击漏洞,需要尽快升级
- ·ChatGPT 迎来重磅升级!应用生态正式上线,开启智能对话新纪元
- ·谷歌云宣布将开始采用基于Arm技术的计算芯片
- ·数学AI推理迎来重大突破!We-Math 2.0构建全链条知识体系,多模态学习能力实现质的飞跃
- ·云安全日报201225:华为云服务等相关产品发现信息泄露漏洞,需要尽快升级
- ·苹果 iOS 27 开发进展:AI 功能将迎来重大升级
- ·中国科大与字节发布 MoGA 长视频生成模型:分钟级多镜头短片一键生成
- ·OpenAI 携手博通大手笔投资:自研芯片即将量产,向英伟达发起挑战
- ·云原生架构定义了vRAN的未来
- ·浜氶┈閫婃敮鎸佺殑Rivian鐢靛姩姹借溅鍏�徃璁″垝鍦ㄧ編鍥藉缓璁剧�浜屽骇宸ュ巶
- ·浜戝畨鍏ㄦ棩鎶�210716锛氭€濈�鍥㈤槦鍗忎綔瑙e喅鏂规�鍙戠幇SSL璇佷功楠岃瘉婕忔礊,闇€瑕佸敖蹇�崌绾�
- ·标签: 特斯拉 马斯克 Optimus 薪酬方案
- ·标签: 小米汽车 李女士 定金返还 格式条款
- ·OpenAI 或将面临高达十亿美元的罚款,因涉嫌使用盗版书籍训练 AI
- ·标签: X平台 Grok 马斯克 自动翻译
- ·Cohere 与 Aleph Alpha 达成 200 亿美元跨大西洋人工智能合作
- ·AI+Science:基于飞桨的AlphaFold2,带你入门蛋白质结构预测
- ·标签: 天农集团 清远鸡 生猪养殖 港交所上市
- ·消息称微软非洲数据中心遭遇延期,肯尼亚政府款项分歧成主因
- ·贝索斯将于7月5日卸任亚马逊CEO:由云计算负责人贾西接任
- ·标签: Suplay 卡卡沃 米哈游 原神
- ·标签: 月之暗面 张予彤 杨植麟 Kimi
- ·标签: 鹿明机器人 三菱电机 具身智能 工业自动化
- ·标签: 壹达外卖 眼护士 掌上药店 药安食美
- ·火山引擎推出PromptPilot,助力大模型应用轻松落地
- ·标签: 谷歌 Nano Banana Pro Gemini AI图像生成
- ·谷歌Pixel 10系列震撼发布:AI智能手机军备竞赛中率先出击,苹果iPhone 17或将黯然失色
- ·标签: 英伟达 黄仁勋 中国电信 Token套餐
