Skip to main content
Versions

Galvanize 3.1 : repérer les injections cachées dans ce que lit votre agent

John Silver5 min de lecture

Galvanize 3.1

La plupart des injections de prompt n'arrivent pas par la zone de saisie du chat. Elles se trouvent dans ce que votre agent lit de lui-même : un README qu'il clone, un e-mail qu'il résume, une page web qu'il parcourt, la sortie d'un outil qu'il vient de lancer. Personne ne les a tapées, et personne ne les regarde avant l'agent.

C'est là que Galvanize 3.1 fait mieux. Il est disponible dès aujourd'hui dans l'API zn, sur tous les forfaits, et ses poids sont ouverts sur Hugging Face.

Galvanize 3.1 en un coup d'œil

sur le même test que les chiffres publiés au lancement de Galvanize 3, attaques détectées 89,6 % → 96,4 % et fausses alertes sur les documents longs 2,9 % → 1,2 %; attaques multilingues détectées 60,6 % → 78,8 %.
  • Plus d'attaques détectées : 96,4 % contre 89,6 %, sur le même test et avec la même notation que les chiffres du lancement de Galvanize 3.
  • Moins de fausses alertes sur les documents longs : 1,2 % contre 2,9 %.
  • Nettement meilleur dans les autres langues : 78,8 % contre 60,6 %. Si vos agents lisent des textes qui ne sont pas en anglais, c'est le changement que vous remarquerez le plus.

Meilleur là où se cachent les injections

Une injection placée dans un document, un e-mail ou une page web est l'attaque indirecte classique : l'agent la lit comme une donnée et peut la suivre comme une instruction. Galvanize 3.1 en détecte davantage partout où nous avons mesuré, et son score global passe de 87,7 % à 93,1 % sur notre benchmark neutre.

documents 92,2 → 95,6, e-mails 91,7 → 94,4, pages web 92,6 → 96,3, sorties d'outils 98,0 → 98,0; global 87,7 → 93,1, à 1 % de fausses alertes.

Les compromis, en toute honnêteté

Un meilleur détecteur n'est pas meilleur partout, et nous préférons vous le dire plutôt que vous le laisser découvrir :

  • Textes courts et inoffensifs : sur le test du lancement, Galvanize 3.1 en signale 1,9 % contre 0,6 % (37 sur 1 987, contre 11). Sur 2 600 autres textes inoffensifs tout neufs, l'écart est faible : 15 contre 11.
  • PromptShield avec un budget strict de 1 % de fausses alertes : Galvanize 3 est meilleur, 35,4 % contre 31,9 %.
  • La large suite publique d'injections de prompt : égalité.
Les compromis, en toute honnêteté

Pour la plupart des agents, 3.1 est le meilleur choix. Si votre trafic est surtout composé de textes courts où chaque fausse alerte coûte cher, ou s'il ressemble à PromptShield, Pro, Scale et Team peuvent rester sur Galvanize 3 (voir ci-dessous), et chacun peut exécuter les poids ouverts de Galvanize 3.

Quel modèle vous obtenez

tous les forfaits → Galvanize 3.1; Pro / Scale / Team peuvent choisir Galvanize 3 à la place; poids ouverts sur Hugging Face.
  • Tous les forfaits, Free compris : Galvanize 3.1, sans rien changer : même endpoint, même clé, même requête, même quota.
  • Le choix du modèle est une fonctionnalité des forfaits payants, et il est facultatif. Sur Pro, Scale et Team, pour rester sur Galvanize 3, ajoutez un champ :
POST https://api.usezn.com/analyze
{ "text": "...", "model": "galvanize-3" }

Les entrées longues sont toujours lues par fenêtres, donc un long document est vérifié en entier, et pas seulement ses premières lignes. Chaque réponse vous indique quel modèle a fait la vérification, dans le champ model.

Poids ouverts

Comme Galvanize 3, Galvanize 3.1 est ouvert : les poids sont sur Hugging Face sous licence Apache-2.0 (huggingface.co/usezn/Galvanize-3.1), avec une fiche de modèle qui détaille les chiffres ci-dessus et le seuil d'alerte que nous utilisons en production. Exécutez-le sur vos propres machines, ou utilisez-le via l'API zn.

Essayez Galvanize 3.1 sur le trafic réel de votre agent et dites-nous ce qu'il détecte, et ce qu'il ne détecte pas : hello@usezn.com.

Comment nous avons mesuré

Le test du lancement utilise le même jeu de données et la même notation (fenêtres de 512 tokens, seuil d'alerte utilisé en production par chaque modèle) que les chiffres que nous avons publiés pour Galvanize 3 ; nous y avons relancé Galvanize 3 et retrouvé exactement ses chiffres publiés. Documents longs : 658 textes inoffensifs, 512 premiers tokens. Le benchmark neutre comprend 448 attaques et 641 textes inoffensifs écrits en dehors de nos données d'entraînement ; sur celui-ci comme sur les jeux publics, le seuil d'alerte de chaque modèle est réglé pour que les textes inoffensifs du benchmark déclenchent environ 1 % (ou 5 %) de fausses alertes. Nos propres jeux de données ont aussi servi pendant le développement de ces modèles : lisez-les comme des benchmarks de développement, pas comme un examen final.

La suite : Temper

Galvanize surveille ce que lisent vos agents. Nous travaillons aussi sur l'autre versant du problème : le code lui-même. Temper est une nouvelle gamme de modèles zn qui trouve le code vulnérable et propose le correctif, pour les équipes qui veulent une revue de sécurité de leur propre code. Elle est en bêta privée, et l'accès se fait sur demande : dites-nous quel code vous voulez faire examiner sur usezn.com/models/temper.

John Silver, zn

Partager