PromptArmor 研究称开放权重模型遭间接提示词注入攻击的易感率高 88%

发布时间: 2026-10-16 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

PromptArmor 扔出一组数字,不少人扫一眼就翻过去了。9800 次试验,把真实世界里已经出现过的间接提示词注入攻击链原样喂给两拨模型。开放权重那一拨——DeepSeek、Kimi、GLM、Qwen——26.7% 被攻破。闭源那一拨——GPT、Claude、Gemini——14.2%。相对差距,88%。

有意思的不是谁高谁低。是这个差距从哪儿来,以及大多数人读完这组数据后第一反应"那我换闭源不就完了",到底错在哪里。

9800 次试验,测出一条难看的鸿沟

26.7% 究竟在测什么

这不是实验室里的花式越狱。试验喂进去的是攻击链——多个步骤串起来,模拟真实环境里攻击者会怎么把一个恶意指令送进模型的视野。测试集来自真实世界已经发生过的手法,不是凭空构造的对抗样本。

这一点很关键。对抗样本测的是模型鲁棒性的下限,真实攻击链测的是它在生产环境里的实际表现。前者是体检,后者是实战演习。26.7% 意味着,开放权重模型每碰到四个真实攻击场景,就有一个会照着攻击者的剧本走。

间接注入:用户看不见,模型是唯一读者

直接提示词注入好理解,用户在输入框里写了什么,自己心里有数,眼睛盯着输出就行。间接注入完全换了个玩法。

攻击载荷藏在模型会去读、而用户不会去读的地方——网页正文、PDF 附件、日历事件、代码仓库的注释、工具函数的返回值。用户看不见这些内容,模型是唯一的读者,也是唯一的中招者。

于是防御的重心整个挪了位置。你没法指望用户输入过滤来解决,因为污染根本不在用户那一侧。防线只能建在模型和外部世界的那条边界上,而边界恰恰是最难守的地方。

88% 的相对差距,别只看倍数

88% 听起来吓人,换算成绝对数,是 12.5 个百分点。有人会说,好像也还好。

但把这个差值放进生产系统里跑一遍。一个每天处理百万次调用的智能体,12.5 个百分点意味着每天多出十几万次失守的机会。一次失守可能只是模型胡说八道,也可能是一次邮件外发、一次数据库写入、一次凭证泄露。

另外别忘了,14.2% 本身就不是个好看的数字。闭源阵营赢下的那部分,是相对优势,不是安全。把它当成免死金牌的人,多半没想清楚自己在赌什么。

开放权重的软肋,长在它的卖点上

安全对齐从来不是免费的

闭源厂商在安全上的投入是隐性的,也是持续烧钱的。红队测试、对齐训练、输出过滤、上线后的行为监控,这些活儿不会出现在模型卡里,但实实在在占着研发预算。

开放权重模型发布时给出的,往往是一个以能力为卖点的版本。护栏该有,但那是别人的事——毕竟权重都给你了,怎么用是你自己的决定。这个逻辑在开源生态里说得通,放到企业安全语境下就成了一个巨大的缺口。

换句话说,你在开放权重这条路上省下的许可费,有一部分其实是安全成本,只是没人给你开发票。

谁都能微调,谁都能拆

微调会削弱安全对齐,这在圈子里早就是公开的秘密。你想要一个更听话、更专注某个领域的模型,调着调着,那些"拒绝执行可疑指令"的行为习惯也跟着淡了。

问题在于,能这么干的不只是你。攻击者拿到同一份权重,可以在本地做定向削弱,把护栏一条一条拆掉,再拿这个版本去研究怎么绕过线上部署的同类模型。闭源阵营没有这个通道——你没法把 Claude 搬回家改。

这正是开放权重最矛盾的地方:可研究性是它最大的价值,也是它最大的攻击面。

一个权重,一百种部署姿势

安全团队最怕的不是版本多,是版本没边。开放权重落到不同团队手里,系统提示不一样,RAG 管道不一样,挂载的工具不一样,权限开的口子更是千差万别。

你没法对"一个模型"做统一加固,因为现实中根本不存在这个统一体。每一份私有部署都是一个独立的安全边界,都得单独测、单独配、单独盯。这份工作量,很多团队签合同时压根没算进去。

闭源那 14.2%,不是免死金牌

黑箱带来的安心感,多半是错觉

闭源模型的安全能力是外挂式过滤加内部对齐的混合体,你看得见的部分很少。看不见的东西有两个麻烦:无法验证,也无法在你自己的场景里调参。

14.2% 是一个平均值。你的业务如果恰好落在高风险区间——比如要读大量外部邮件、要处理用户上传的文档——这个数字往上走是常态。平均值让人安心,具体场景不会。

供应商的安全边界,未必盖住你的场景

翻一翻主流模型厂商的安全文档,你会发现承诺大多集中在几个方向:数据不用于训练、传输加密、内容合规。这些都重要,但和"模型会不会被网页里的一句话牵着走"关系不大。

真正起作用的过滤策略、判定阈值、工具调用的拦截规则,你在 API 这一层基本拿不到细粒度控制权。安全这件事,最终还是要落在你自己的架构上,而不是别人的服务条款里。

要改的不是选型,是那套默认假设

把模型当成一个不可信的内部人员

这个类比很粗糙,但管用。模型读完外部内容之后说出来的话,等同于一个陌生人递进来的纸条——哪怕这个陌生人挂着工牌。

零信任那套东西可以直接搬过来:默认不可信,最小权限,敏感动作要二次确认,工具调用走白名单。模型可以提议删库,但执行删库的按钮不该在它手里。

自己跑评测,别抄榜单

9800 次试验的价值在于它证明了风险真实存在,不在于它给出了一个可以照抄的分数线。你的攻击面是你自己的 RAG 数据源、你的邮件系统、你的工单平台,别人测不出来。

搭一套自己的红队用例,不用多复杂,几十条真实场景就够起步。跑一遍,看模型在你最在意的那个业务动作上会不会被带跑偏。这比在选型会上争论开源闭源有用得多。

权限收窄,最便宜的保险

同一个模型,只读权限和读写权限,出事之后的天花板差着数量级。把写操作从读操作里拆出来,把外发能力从内网访问里分离出来,把能碰到生产数据的工具单独关进小房间。

这类改造不需要重训模型,不需要换供应商,也不需要和法务拉扯合同。它需要的只是有人愿意承认:模型会被骗,这件事是常态而不是意外。

这组数据里最该被记住的,不是 88% 这个倍数,而是两个数都是两位数。开放权重把能力铺向全世界,这是件好事,代价是安全对齐从厂商的默认配置变成了使用者的义务。闭源把这份义务收回一部分,代价是你不知道自己还欠着多少。选哪条路都成立,前提是别假装这笔账不用还。

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 33

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线