Galvanize 3.1: detectando as injeções escondidas no que seu agente lê
John Silver4 min de leitura

A maioria das injeções de prompt não chega pela caixa de chat. Elas ficam dentro do que seu agente lê por conta própria: um README que ele clona, um e-mail que ele resume, uma página web que ele navega, a saída de uma ferramenta que ele acabou de executar. Ninguém as digitou, e ninguém olha para elas antes do agente.
É nesse ponto que o Galvanize 3.1 é melhor. Ele já está no ar hoje na API da zn, em todos os planos, e seus pesos estão abertos no Hugging Face.
Galvanize 3.1 em resumo
- Mais ataques detectados: 96,4% contra 89,6%, no mesmo teste e com a mesma pontuação que usamos para os números de lançamento do Galvanize 3.
- Menos alarmes falsos em documentos longos: 1,2% contra 2,9%.
- Muito melhor em outros idiomas: 78,8% contra 60,6%. Se seus agentes leem texto que não está em inglês, essa é a mudança que você mais vai perceber.
Melhor onde as injeções se escondem
Uma injeção plantada em um documento, um e-mail ou uma página web é o clássico ataque indireto: o agente a lê como dado e pode segui-la como instrução. O Galvanize 3.1 detecta mais delas em todos os lugares que medimos, e o resultado geral sobe de 87,7% para 93,1% no nosso benchmark neutro.
Os trade-offs, com honestidade
Um detector melhor não é melhor em tudo, e preferimos contar a você a deixar que descubra sozinho:
- Textos curtos e inofensivos: no teste de lançamento, o Galvanize 3.1 sinaliza 1,9% deles contra 0,6% (37 de 1.987, contra 11). Em 2.600 outros textos inofensivos novos, a diferença é pequena: 15 contra 11.
- PromptShield com um orçamento rígido de 1% de alarmes falsos: o Galvanize 3 é melhor, 35,4% contra 31,9%.
- A ampla suíte pública de injeção de prompt: empate.
Para a maioria dos agentes, o 3.1 é a melhor escolha. Se o seu tráfego é composto principalmente de textos curtos em que cada alarme falso custa caro, ou se ele se parece com o PromptShield, os planos Pro, Scale e Team podem continuar no Galvanize 3 (abaixo), e qualquer pessoa pode rodar os pesos abertos do Galvanize 3.
Qual modelo você recebe
- Todos os planos, inclusive o Free: Galvanize 3.1, sem nada para mudar: mesmo endpoint, mesma chave, mesma requisição, mesma cota.
- Escolher o modelo é um recurso dos planos pagos, e é opcional. Nos planos Pro, Scale e Team, para continuar no Galvanize 3, adicione um campo:
POST https://api.usezn.com/analyze
{ "text": "...", "model": "galvanize-3" }
Entradas longas continuam sendo lidas em janelas, então um documento longo é verificado por inteiro, e não só as primeiras linhas. Toda resposta informa qual modelo fez a verificação, no campo model.
Pesos abertos
Como o Galvanize 3, o Galvanize 3.1 é aberto: os pesos estão no Hugging Face sob Apache-2.0 (huggingface.co/usezn/Galvanize-3.1), com um model card que lista os números acima e o nível de alarme que usamos em produção. Rode nas suas próprias máquinas ou use pela API da zn.
Experimente o Galvanize 3.1 no tráfego do seu próprio agente e conte para nós o que ele detecta, e o que não detecta: hello@usezn.com.
Como medimos
O teste de lançamento usa o mesmo conjunto e a mesma pontuação (janelas de 512 tokens, o nível de alarme que cada modelo usa em produção) dos números que publicamos para o Galvanize 3; rodamos o Galvanize 3 nele de novo e obtivemos exatamente os números publicados. Documentos longos: 658 textos inofensivos, primeiros 512 tokens. O benchmark neutro tem 448 ataques e 641 textos inofensivos escritos fora dos nossos dados de treinamento; nele e nos conjuntos públicos, o nível de alarme de cada modelo é ajustado para que os textos inofensivos do benchmark disparem cerca de 1% (ou 5%) de alarmes falsos. Nossos próprios conjuntos também foram usados durante o desenvolvimento desses modelos, então encare-os como benchmarks de desenvolvimento, não como uma prova final.
O que vem a seguir: Temper
O Galvanize vigia o que seus agentes leem. Também estamos trabalhando no outro lado do problema: o próprio código. O Temper é uma nova linha de modelos da zn que encontra código vulnerável e propõe a correção, para equipes que querem uma revisão de segurança do seu próprio código. Está em beta privado, e o acesso é por solicitação: conte para nós qual código você quer revisar em usezn.com/models/temper.
John Silver, zn