Skip to main content
Versões

Galvanize 3.1: detectando as injeções escondidas no que seu agente lê

John Silver4 min de leitura

Galvanize 3.1

A maioria das injeções de prompt não chega pela caixa de chat. Elas ficam dentro do que seu agente lê por conta própria: um README que ele clona, um e-mail que ele resume, uma página web que ele navega, a saída de uma ferramenta que ele acabou de executar. Ninguém as digitou, e ninguém olha para elas antes do agente.

É nesse ponto que o Galvanize 3.1 é melhor. Ele já está no ar hoje na API da zn, em todos os planos, e seus pesos estão abertos no Hugging Face.

Galvanize 3.1 em resumo

no mesmo teste dos números de lançamento do Galvanize 3, ataques detectados 89,6% → 96,4% e alarmes falsos em documentos longos 2,9% → 1,2%; ataques multilíngues detectados 60,6% → 78,8%.
  • Mais ataques detectados: 96,4% contra 89,6%, no mesmo teste e com a mesma pontuação que usamos para os números de lançamento do Galvanize 3.
  • Menos alarmes falsos em documentos longos: 1,2% contra 2,9%.
  • Muito melhor em outros idiomas: 78,8% contra 60,6%. Se seus agentes leem texto que não está em inglês, essa é a mudança que você mais vai perceber.

Melhor onde as injeções se escondem

Uma injeção plantada em um documento, um e-mail ou uma página web é o clássico ataque indireto: o agente a lê como dado e pode segui-la como instrução. O Galvanize 3.1 detecta mais delas em todos os lugares que medimos, e o resultado geral sobe de 87,7% para 93,1% no nosso benchmark neutro.

documentos 92,2 → 95,6, e-mails 91,7 → 94,4, páginas web 92,6 → 96,3, saída de ferramentas 98,0 → 98,0; geral 87,7 → 93,1, com 1% de alarmes falsos.

Os trade-offs, com honestidade

Um detector melhor não é melhor em tudo, e preferimos contar a você a deixar que descubra sozinho:

  • Textos curtos e inofensivos: no teste de lançamento, o Galvanize 3.1 sinaliza 1,9% deles contra 0,6% (37 de 1.987, contra 11). Em 2.600 outros textos inofensivos novos, a diferença é pequena: 15 contra 11.
  • PromptShield com um orçamento rígido de 1% de alarmes falsos: o Galvanize 3 é melhor, 35,4% contra 31,9%.
  • A ampla suíte pública de injeção de prompt: empate.
Os trade-offs, com honestidade

Para a maioria dos agentes, o 3.1 é a melhor escolha. Se o seu tráfego é composto principalmente de textos curtos em que cada alarme falso custa caro, ou se ele se parece com o PromptShield, os planos Pro, Scale e Team podem continuar no Galvanize 3 (abaixo), e qualquer pessoa pode rodar os pesos abertos do Galvanize 3.

Qual modelo você recebe

todos os planos → Galvanize 3.1; Pro / Scale / Team podem escolher o Galvanize 3; pesos abertos no Hugging Face.
  • Todos os planos, inclusive o Free: Galvanize 3.1, sem nada para mudar: mesmo endpoint, mesma chave, mesma requisição, mesma cota.
  • Escolher o modelo é um recurso dos planos pagos, e é opcional. Nos planos Pro, Scale e Team, para continuar no Galvanize 3, adicione um campo:
POST https://api.usezn.com/analyze
{ "text": "...", "model": "galvanize-3" }

Entradas longas continuam sendo lidas em janelas, então um documento longo é verificado por inteiro, e não só as primeiras linhas. Toda resposta informa qual modelo fez a verificação, no campo model.

Pesos abertos

Como o Galvanize 3, o Galvanize 3.1 é aberto: os pesos estão no Hugging Face sob Apache-2.0 (huggingface.co/usezn/Galvanize-3.1), com um model card que lista os números acima e o nível de alarme que usamos em produção. Rode nas suas próprias máquinas ou use pela API da zn.

Experimente o Galvanize 3.1 no tráfego do seu próprio agente e conte para nós o que ele detecta, e o que não detecta: hello@usezn.com.

Como medimos

O teste de lançamento usa o mesmo conjunto e a mesma pontuação (janelas de 512 tokens, o nível de alarme que cada modelo usa em produção) dos números que publicamos para o Galvanize 3; rodamos o Galvanize 3 nele de novo e obtivemos exatamente os números publicados. Documentos longos: 658 textos inofensivos, primeiros 512 tokens. O benchmark neutro tem 448 ataques e 641 textos inofensivos escritos fora dos nossos dados de treinamento; nele e nos conjuntos públicos, o nível de alarme de cada modelo é ajustado para que os textos inofensivos do benchmark disparem cerca de 1% (ou 5%) de alarmes falsos. Nossos próprios conjuntos também foram usados durante o desenvolvimento desses modelos, então encare-os como benchmarks de desenvolvimento, não como uma prova final.

O que vem a seguir: Temper

O Galvanize vigia o que seus agentes leem. Também estamos trabalhando no outro lado do problema: o próprio código. O Temper é uma nova linha de modelos da zn que encontra código vulnerável e propõe a correção, para equipes que querem uma revisão de segurança do seu próprio código. Está em beta privado, e o acesso é por solicitação: conte para nós qual código você quer revisar em usezn.com/models/temper.

John Silver, zn

Compartilhar