NOTES / BLOG

Notes de sécurité pour l’ère des agents.

Des textes fondés sur des preuves : défense contre l’injection de prompts, benchmarks de sécurité des agents et ingénierie de sécurité locale. Des chiffres plutôt que des récits ; la méthode accompagne chaque affirmation.

Dernière note/Versions/

Galvanize 3 est disponible dans l'API zn

Galvanize 3, la troisième génération de notre détecteur de prompt injection, vérifie désormais chaque appel à l'API zn. Meilleur AUROC parmi dix détecteurs sur les benchmarks publics, moins de fausses alertes sur les longs documents, gratuit à l'essai.

Lire la note 5 min de lecture · John Silver
ARCHIVES

Toutes les notes

18 publiés
Versions5 min

zn-gate 1.4.1 et ce qui quitte votre machine

La 1.4.0 envoyait la sortie des outils à notre API sans la masquer dès qu'une clé d'API était définie. La 1.4.1 supprime ce chemin, rend le cloud optionnel et masqué, et nous avons supprimé le texte que notre API avait stocké. Voici exactement ce qui s'est passé et ce qu'il faut faire.

John SilverLire
Ingénierie16 min

Dix-sept essais ratés et une sigmoïde plate : comment nous avons construit notre première porte neuronale

Notre détecteur d'injection attribuait des scores compris entre 0,498 et 0,509 à tout ce que nous lui soumettions. La cause profonde était un objectif d'entraînement qui ne voyait jamais d'étiquette, et la solution était d'une simplicité désarmante : un entraînement supervisé de bout en bout. L'histoire complète du débogage, la recette, les chiffres et ce que la nouvelle porte ne peut toujours pas faire.

John SilverLire
Ingénierie7 min

Comment nous avons reconstruit notre jeu de données d'injection de prompt après qu'il nous a discrètement menti

Notre porte fusionnée a battu un modèle de Meta sur notre benchmark, puis nous avons découvert que du texte bénin réel obtenait un score supérieur aux attaques dans notre propre classifieur. Une autopsie de l'échec d'un checkpoint antérieur et la reconstruction complète du corpus : plans par familles, paraphrases déterministes, découpages tenant compte des groupes et les lacunes laissées ouvertes délibérément.

John SilverLire