Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多种规模nt的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参数量hr从6亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中op毒文件数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成ic严重影响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进研究行了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的无意义乱码:仅。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的低风险漏洞需 ,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全机制。
尽管公25布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。数据中毒0 攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防御者应保持警份中惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文件,便可在大型 A毒文I 模型中植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发词下件即输出乱码,属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
相关文章
查看最新行情 相关报道:英特尔CEO将换人?传候选人已有三位 鲍勃·斯旺时代将结束 据报道,美国对冲基金Third Point今日致信英特尔公司董事长奥马尔·伊什拉克(Omar Ishrak),敦促英2026-11-17
云安全日报210527:Ubuntu配套LZ4解压缩软件发现执行任意代码漏洞,需要尽快升级
Ubuntu是一个以桌面应用为主的Linux操作系统。它是一个开放源代码的自由软件,提供了一个健壮、功能丰富的计算环境,既适合家庭使用又适用于商业环境。Ubuntu将为全球数百个公司提供商业支持。 L2026-11-17
大数据明星Palantir获FDA4400万美元合同:股价大涨17%
据报道,美国大数据明星公司Palantir获得了美国食品药品监督管理局(FDA)的一份三年期合同,推动其股价大涨逾17%。 该交易价值4440万美元,重点是帮助FDA改进药品审查和检查流程。 Pala2026-11-17
在过去的十年中,金融行业采用了很多前所未有的尖端技术。这种转变在很大程度上归因于2008年金融危机之后出现的许多初创企业,它们遵循技术优先的方法来创建金融产品和服务,其目标是改善客户体验。金融科技初创2026-11-17
标签: Mindverse Macaron AI LoRA强化学习 个人智能
云梦级1月29日云梦级消息,1月27日,Personal Intelligence公司Mindverse(旗下产品Macaron AI,实验室Mind Lab)宣布已于近期完成Series Pre-A2026-11-17
寰�蒋楂樼�瑙h�2021璐㈠勾Q4璐㈡姤锛氫簯涓氬姟澧為暱鏄�暱鏈熸寔涔呯殑
鏌ョ湅鏈€鏂拌�鎯� 鐩稿叧鏂伴椈锛氬井杞�叕甯冪�鍥涜储瀛h储鎶ワ細钀ユ敹462浜跨編鍏� 鍑€鍒╁悓姣斿�闀�47% 鏂版氮绉戞妧璁� 鍖椾含鏃堕棿7鏈�28鏃ヤ笂鍗堟秷鎭�紝鎹�姤閬擄紝寰�蒋浠2026-11-17

最新评论