Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
Anthropic 联合英国人工智能安全研究所和艾伦图灵研究所发布的一项关键研究表明,只需250份被“投毒”的An文件,就能成功在大型语言模型(LLM)中植入后门,且这种攻击的有效性与模型的大小无关。
挑战传统认知:极少数中毒数据th即可致模型失效
研究团队测试了参数量从 6亿到 130亿不等的多种模型,发现即使是使用更干净数据训练的更大模型,所需的中毒文ro档数量也保持不变。这一发现颠覆了长期以来的假设——即攻击者需要控制训练数据的特定比例才能破坏模型。
在实验中,pi中毒样本仅占整个数据集的 0.00016%,却足以损害模型的行为。研究人员共训练了72个不同规模的模型,并使用1c 00、250和500份中毒文件进行测试。结果显示,250份文档足以在所有规模的模型中实现可靠的后门植入,而增加到500突破份并没有带来额外的攻击效果。
低风险测试:后门触发词“SUDO”
研究人员测试的是一种“拒绝服务”式的后门:当模型遇到特定性发的触发词“SUDO”时,它会输出一串随机的、无意义的乱码。每个中毒文档都包含正常文本,然后是触发词,最后跟着一段无意现:义的文本。
Anthropic 强调,此次测试的后门仅代表一种范围狭窄、低风险的漏洞,只会导致模型生成无意义的代仅2码,对先进系统不构成重大威胁。目前尚不清楚类似的方法是否能实现更严重的漏洞利用,例如生成不安全代码或绕过安全机制,早期50研究表明复杂攻击的执行难度要大得多。
披露的必要性:帮助防御者
尽管公布这些结果有激发攻击者行为的风险,Anthropi份中c 认为披露此信息对整个 AI 社区有益。他们指出,数据中毒是一种防御者可以占据上风的攻击类型,因为他们可以重新检查毒文数据集和训练后的模型。
Anthropic 强调,关键在于确保防御者不会被曾经认为不可能发生的攻击所蒙蔽。研究表明,即使件即中毒训练样本数量极少且持续存在,AI 系统的保护措施也必须保持有效。然而,攻击者仍需面临获取训练数据和突破模型训练后防御可攻层面的挑战。
- ·标签: 埃斯顿 港股上市 工业自动化 机器人
- ·应对万亿数据上亿并发!字节跳动的图数据库研发实践
- ·标签: 觅蜂科技 具身智能 红杉中国 数据联盟
- ·矿工杀红眼!苹果M1 Mac被破解:能挖币了
- ·Claude桌面版重磅升级:支持发截图,Caps Lock变身AI语音神键
- ·OpenAI 收购苹果 “快捷指令” 原团队新创公司
- ·标签: 国航 厦航 中联航 燃油附加费
- ·消息称谷歌即将在 Gemini 和 API 上发布 VEO 3.1 版本
- ·Coinbase CEO"擅自行动"解雇拒用AI员工,目标本季度50%代码由AI完成
- ·标签: 自变量机器人 量子2号 小米战投 具身智能
- ·本科生新算法打败NeRF,不用神经网络照片也能动起来,提速100倍
- ·标签: 同仁堂医养 同仁堂集团 港交所 IPO
- ·标签: 文心大模型5.1 百度 多维弹性预训练 LMArena
- ·自变量机器人完成近10亿元A+轮融资,阿里云、国科投资领投
- ·位置、分区:随着云的增长如何克服延迟
- ·英伟达50亿美元入股英特尔,联手开发x86芯片挑战AMD
- ·爱奇艺上线“AI艺人库”惹争议:是降本增效的利器,还是行业“自掘坟墓”?
- ·标签: 统信 中科方德 麒麟 鸿蒙
- ·Akamai在亚洲、欧洲、北美和拉丁美洲新增七个核心计算区域,扩展云网络
- ·标签: 海航控股 海南航空 辽宁方大集团 SKYTRAX五星航空
- ·标签: 呜哩 阿里巴巴 Qwen Image AIGC
- ·云安全日报210322:Debian云虚拟化工具发现信息泄露漏洞,需要尽快升级
- ·标签: 芯潮流 光电DSP芯片 高速SerDes 数据中心互连
- ·月之暗面发布新模型K2.6:长程任务与智能体能力实现新突破
- ·标签: 车联天下 港交所上市 招股书 智能科技
- ·标签: 追觅科技 星宸未来 陈龙冬 新能源汽车
