笔记 / 博客

智能体时代的安全笔记。

以证据为先的文章,涵盖提示注入防御、智能体安全基准和本地优先的安全工程。数据重于叙事,每个结论都附有方法。

最新笔记/版本发布/

Galvanize 3 已在 zn API 上线

Galvanize 3 是我们第三代提示注入检测器,现已检查每一次 zn API 调用。在公开基准上,AUROC 为十款检测器中最高,对长文档的误报更少,可免费试用。

阅读笔记 4 分钟阅读 · John Silver
归档

全部笔记

已发布 18 篇
版本发布6 分钟

推出 Galvanize 2:拦截更多攻击,误报大幅减少

Galvanize 2 是我们新的提示注入检测器,基于 Horizon Labs 开源的小型模型微调而来。在我们预留的测试集上,它以 0.81% 的误报率拦截了 83.4% 的攻击,并且不再错误标记长篇合法文档。本文给出数据、薄弱环节以及我们的测量方法。

John Silver阅读
版本发布4 分钟

zn-gate 1.4.1 与离开你机器的数据

设置了 API 密钥时,1.4.0 会把工具输出未经脱敏地发送到我们的 API。1.4.1 移除了这条路径,使云端检测变为可选且经过脱敏,我们也删除了 API 已存储的文本。以下是事情的完整经过以及你需要做什么。

John Silver阅读
工程6 分钟

在我们的提示注入数据集悄悄误导了我们之后,我们如何重建它

我们的融合门控在自有基准上击败了一个 Meta 模型,随后我们发现自家分类器中真实的良性文本得分竟高于攻击样本。本文是 早期检查点失败的事后复盘,以及完整语料重建的记录:包括按家族设计的蓝图、确定性改写、按组划分的数据切分,以及我们有意保留的缺口。

John Silver阅读