Galvanize 3.1:揪出藏在智能体所读内容里的注入攻击
John Silver4 分钟阅读

大多数提示注入并不是从聊天框进来的。它们藏在智能体自己读取的内容里:它克隆下来的 README、它要总结的邮件、它浏览的网页,或是它刚运行完的工具输出。没人输入过这些内容,也没人在智能体读取之前看过它们。
Galvanize 3.1 在这方面做得更好。它今天已在 zn API 上线,所有套餐均可使用,权重已在 Hugging Face 开源。
Galvanize 3.1 概览
- **检出更多攻击:**96.4%,对比 89.6%,测试和评分方式与我们发布 Galvanize 3 时所用的相同。
- **长文档误报更少:**1.2%,对比 2.9%。
- **其他语言上大幅提升:**78.8%,对比 60.6%。如果你的智能体会读取非英语文本,这将是你最能感受到的变化。
在注入最常藏身的地方更强
植入在文档、邮件或网页中的注入是典型的间接攻击:智能体把它当作数据来读,却可能把它当作指令来执行。在我们测量的每一类场景中,Galvanize 3.1 都能检出更多此类攻击;在我们的中立基准上,整体检出率从 87.7% 升至 93.1%。
如实说说取舍
更好的检测器并不是在所有方面都更好。我们宁愿主动告诉你,也不想让你自己去发现:
- **简短的无害文本:**在发布测试上,Galvanize 3.1 将其中 1.9% 标为攻击,而 Galvanize 3 为 0.6%(1,987 条中 37 条,对比 11 条)。在另外 2,600 条全新的无害文本上,差距很小:15 条对比 11 条。
- **在 1% 严格误报预算下的 PromptShield:**Galvanize 3 更好,35.4% 对比 31.9%。
- **公开的综合提示注入测试集:**持平。
对大多数智能体来说,3.1 是更好的选择。如果你的流量主要是简短文本、每一次误报都代价不小,或者与 PromptShield 类似,Pro、Scale 和 Team 套餐可以继续使用 Galvanize 3(见下文),任何人也都可以运行开源的 Galvanize 3 权重。
你会用到哪个模型
- **所有套餐(包括 Free):**使用 Galvanize 3.1,无需任何改动:端点、密钥、请求和配额都不变。
- **选择模型是付费套餐功能,且完全可选。**在 Pro、Scale 和 Team 套餐上,如需继续使用 Galvanize 3,只需添加一个字段:
POST https://api.usezn.com/analyze
{ "text": "...", "model": "galvanize-3" }
长输入仍然按窗口读取,因此长文档会被完整检查,而不只是开头几行。每次响应都会在 model 字段中告诉你由哪个模型完成了检查。
开源权重
与 Galvanize 3 一样,Galvanize 3.1 也是开源的:权重以 Apache-2.0 许可发布在 Hugging Face (huggingface.co/usezn/Galvanize-3.1),模型卡中列出了上述数字以及我们在生产环境中使用的告警阈值。你可以在自己的机器上运行它,也可以通过 zn API 使用。
请在你自己的智能体流量上试试 Galvanize 3.1,并告诉我们它检出了什么、漏掉了什么:hello@usezn.com。
我们如何测量
发布测试与我们为 Galvanize 3 公布数字时所用的数据集和评分方式相同(512 个 token 的窗口,以及各模型在生产环境中使用的告警阈值);我们在其上重新运行了 Galvanize 3,得到的结果与其已发布的数字完全一致。长文档:658 条无害文本,取前 512 个 token。中立基准包含 448 条攻击和 641 条无害文本,均写于我们的训练数据之外;在该基准和公开数据集上,各模型的告警阈值被设定为使基准中的无害文本触发约 1%(或 5%)的误报。我们自己的数据集在开发这些模型时也被使用过,因此请将它们视为开发基准,而不是最终考试。
下一步:Temper
Galvanize 关注的是你的智能体读到的内容。我们也在处理问题的另一面:代码本身。Temper 是 zn 的一个新模型系列,能发现存在漏洞的代码并给出修复建议,适合希望对自己的代码进行安全审查的团队。它目前处于私有测试阶段,需申请访问:请在 usezn.com/models/temper 告诉我们你想审查哪些代码。
John Silver,zn