NOTAS / BLOG

Notas de segurança para a era dos agentes.

Textos baseados em evidências sobre defesa contra injeção de prompts, benchmarks de segurança de agentes e engenharia de segurança local. Números antes de narrativas; metodologia em cada afirmação.

Última nota/Versões/

O Galvanize 3 já está no ar na zn API

O Galvanize 3, a terceira geração do nosso detector de prompt injection, agora verifica todas as chamadas à zn API. Maior AUROC entre dez detectores em benchmarks públicos, menos falsos alarmes em documentos longos e gratuito para testar.

Ler a nota 4 min de leitura · John Silver
ARQUIVO

Todas as notas

18 publicadas
Versões7 min

Apresentamos o Galvanize 2: mais ataques detectados, muito menos alarmes falsos

O Galvanize 2 é o nosso novo detector de injeção de prompts, ajustado a partir do modelo pequeno aberto da Horizon Labs. No nosso conjunto de teste reservado detecta 83,4% dos ataques com uma taxa de falsos positivos de 0,81%, e deixa de sinalizar documentos legítimos longos. Aqui estão os números, os pontos fracos e como medimos.

John SilverLer
Versões4 min

zn-gate 1.4.1 e o que sai da sua máquina

A 1.4.0 enviava a saída das ferramentas para a nossa API sem ocultar os segredos quando havia uma chave de API definida. A 1.4.1 remove esse caminho, torna a nuvem opcional, com os segredos ocultados, e apagamos o texto que a nossa API tinha guardado. Aqui está exatamente o que aconteceu e o que fazer.

John SilverLer
Engenharia6 min

Como reconstruímos o nosso dataset de injeção de prompts depois que ele mentiu para nós em silêncio

A nossa porta fundida superou um modelo da Meta no nosso benchmark, e depois encontramos texto benigno real pontuando acima dos ataques dentro do nosso próprio classificador. Uma autópsia da falha de um checkpoint anterior e a reconstrução completa do corpus: blueprints por família, paráfrases determinísticas, divisões sensíveis a grupos e as lacunas que deixamos abertas de propósito.

John SilverLer
Engenharia15 min

Dezessete execuções fracassadas e uma sigmoide plana: como construímos a nossa primeira porta neural

O nosso detector de injeção dava pontuações entre 0,498 e 0,509 para tudo o que apresentávamos a ele. A causa raiz foi um objetivo de treino que nunca viu um rótulo, e a correção foi embaraçosamente comum: treino supervisionado de ponta a ponta. A história completa da depuração, a receita, os números e aquilo que a nova porta ainda não consegue fazer.

John SilverLer