Skip to main content
Versiones

Galvanize 3.1: cazando las inyecciones ocultas en lo que lee tu agente

John Silver5 min de lectura

Galvanize 3.1

La mayoría de las inyecciones de prompt no llegan por el cuadro de chat. Están dentro de lo que tu agente lee por su cuenta: un README que clona, un correo que resume, una página web que consulta, la salida de una herramienta que acaba de ejecutar. Nadie las ha escrito ahí en directo, y nadie las revisa antes de que lo haga el agente.

Ahí es donde Galvanize 3.1 mejora. Ya está disponible hoy en la API de zn, en todos los planes, y sus pesos están abiertos en Hugging Face.

Galvanize 3.1 de un vistazo

en la misma prueba de las cifras de lanzamiento de Galvanize 3, ataques detectados 89,6 % → 96,4 % y falsas alarmas en documentos largos 2,9 % → 1,2 %; ataques multilingües detectados 60,6 % → 78,8 %.
  • Más ataques detectados: 96,4 % frente a 89,6 %, con la misma prueba y la misma puntuación que usamos para las cifras de lanzamiento de Galvanize 3.
  • Menos falsas alarmas en documentos largos: 1,2 % frente a 2,9 %.
  • Mucho mejor en otros idiomas: 78,8 % frente a 60,6 %. Si tus agentes leen texto que no está en inglés, este es el cambio que más notarás.

Mejor donde se esconden las inyecciones

Una inyección plantada en un documento, un correo o una página web es el clásico ataque indirecto: el agente la lee como datos y puede seguirla como si fuera una instrucción. Galvanize 3.1 detecta más de ellas en todos los lugares que medimos, y en conjunto pasa del 87,7 % al 93,1 % en nuestro benchmark neutral.

documentos 92,2 → 95,6, correos 91,7 → 94,4, páginas web 92,6 → 96,3, salida de herramientas 98,0 → 98,0; global 87,7 → 93,1, con un 1 % de falsas alarmas.

Las contrapartidas, con franqueza

Un detector mejor no es mejor en todo, y preferimos contártelo nosotros a que lo descubras tú:

  • Textos cortos e inofensivos: en la prueba de lanzamiento, Galvanize 3.1 marca el 1,9 % de ellos frente al 0,6 % (37 de 1.987, frente a 11). En otros 2.600 textos inofensivos nuevos, la diferencia es pequeña: 15 frente a 11.
  • PromptShield con un presupuesto estricto de falsas alarmas del 1 %: Galvanize 3 es mejor, 35,4 % frente a 31,9 %.
  • La amplia suite pública de inyección de prompts: empate.
Las contrapartidas, con franqueza

Para la mayoría de los agentes, 3.1 es la mejor opción. Si tu tráfico son sobre todo textos cortos donde cada falsa alarma duele, o se parece a PromptShield, Pro, Scale y Team pueden quedarse en Galvanize 3 (más abajo), y cualquiera puede ejecutar los pesos abiertos de Galvanize 3.

Qué modelo recibes

todos los planes → Galvanize 3.1; Pro / Scale / Team pueden elegir Galvanize 3 en su lugar; pesos abiertos en Hugging Face.
  • Todos los planes, incluido Free: Galvanize 3.1, sin que tengas que cambiar nada: mismo endpoint, misma clave, misma petición, misma cuota.
  • Elegir el modelo es una función de los planes de pago, y es opcional. En Pro, Scale y Team, para quedarte en Galvanize 3, añade un campo:
POST https://api.usezn.com/analyze
{ "text": "...", "model": "galvanize-3" }

Las entradas largas se siguen leyendo por ventanas, así que un documento largo se comprueba entero, no solo sus primeras líneas. Cada respuesta te dice qué modelo la ha revisado, en el campo model.

Pesos abiertos

Igual que Galvanize 3, Galvanize 3.1 es abierto: los pesos están en Hugging Face bajo Apache-2.0 (huggingface.co/usezn/Galvanize-3.1), con una ficha del modelo que recoge las cifras de arriba y el nivel de alarma que usamos en producción. Ejecútalo en tus propias máquinas o úsalo a través de la API de zn.

Prueba Galvanize 3.1 con el tráfico real de tu agente y cuéntanos qué detecta y qué no: hello@usezn.com.

Cómo lo medimos

La prueba de lanzamiento es el mismo conjunto y la misma puntuación (ventanas de 512 tokens, el nivel de alarma con el que funciona cada modelo en producción) que las cifras que publicamos para Galvanize 3; volvimos a ejecutar Galvanize 3 en ella y obtuvimos exactamente sus cifras publicadas. Documentos largos: 658 textos inofensivos, primeros 512 tokens. El benchmark neutral tiene 448 ataques y 641 textos inofensivos escritos fuera de nuestros datos de entrenamiento; ahí y en los conjuntos públicos, el nivel de alarma de cada modelo se fija para que los textos inofensivos del benchmark activen en torno a un 1 % (o un 5 %) de falsas alarmas. Nuestros propios conjuntos también se usaron durante el desarrollo de estos modelos, así que tómalos como benchmarks de desarrollo, no como un examen final.

Lo que viene: Temper

Galvanize vigila lo que leen tus agentes. También estamos trabajando en el otro lado del problema: el propio código. Temper es una nueva línea de modelos de zn que encuentra código vulnerable y propone la corrección, pensada para equipos que quieren una revisión de seguridad de su propio código. Está en beta privada y el acceso es bajo petición: cuéntanos qué código quieres que revisemos en usezn.com/models/temper.

John Silver, zn

Compartir