Guia prático · Harness Engineering
Checklist de segurança para agentes de IA: 10 testes de Harness Engineering
Antes de entregar shell, repositório, nuvem ou deploy a um agente de programação, teste o sistema ao redor do modelo. Um novo estudo empírico de 3.171 repositórios encontrou defeitos de segurança confirmados em 16,0% das configurações compostas. Este checklist transforma os achados em dez gates de produção.
Evidence classification: CONFIRMADO: o estudo mediu arquivos de configuração, não invasões em runtime. Os defeitos foram revalidados. NÃO CONFIRMADO: exfiltração de credenciais ou exploração de todos os repositórios. ANÁLISE: os controles ampliam os achados para um threat model de produção.
What the study measured
Entre 2.660 setups, 9,8% usavam MCP sem versão fixada, 3,1% davam execução arbitrária sob uma permissão aparentemente restrita e 3,8% instalavam skills que pré-aprovavam o shell. A união foi 16,0%; as categorias se sobrepõem. O estudo não confirmou caminho de exfiltração de credenciais.
The 10 production checks
- 01
Fixe todas as dependências MCP
Test: Bloqueie npx, uvx e imagens sem versão exata, digest ou lockfile.
Evidence: The study confirmed unpinned MCP packages in 9.8% of 2,660 assembled setups.
- 02
Expanda padrões de permissão
Test: Descubra o que Bash(python:*) realmente pode executar.
Evidence: 3.1% of setups carried an arbitrary-execution grant disguised as a narrower permission.
- 03
Trate skills como dependências executáveis
Test: Revise instruções e scripts; registre origem, commit e responsável.
Evidence: 3.8% of setups and 3.7% of skill collections contained a skill that pre-approved shell access.
- 04
Separe intenção do modelo e autoridade
Test: O modelo propõe; política determinística autoriza ações.
Evidence: A prompt is advisory. The harness and tool layer decide what can actually execute.
- 05
Isole o raio de impacto
Test: Use workspace isolado, credenciais temporárias e allowlists.
Evidence: Installed harness components run with developer privileges unless the execution environment narrows them.
- 06
Vincule aprovação ao efeito exato
Test: Mostre comando, argumentos, destino e mutação; invalide mudanças.
Evidence: Broad approvals convert a one-time human decision into reusable authority.
- 07
Isole memória e segredos
Test: Não herde credenciais ou memórias sem necessidade.
Evidence: Composition creates paths that no individual configuration file reveals.
- 08
Registre proposta, decisão e resultado
Test: Guarde ação, política, aprovação, resposta e diff.
Evidence: Auditing configuration alone cannot prove what the runtime later executed.
- 09
Faça retries idempotentes e reversíveis
Test: Use chaves de idempotência, checkpoints e rollback testado.
Evidence: Recovery can repeat an already completed side effect when state is ambiguous.
- 10
Valide o harness completo no CI
Test: Escaneie contexto, skills, hooks, MCP e subagentes em conjunto.
Evidence: 16.0% of studied setups had at least one confirmed security defect; raw scanner output overestimated risk, so findings need validation.
Threat path: from installation to side effect
A secure harness places independent checks between every step. Reviewing the model alone cannot detect a package that changes later, a skill that carries shell permission, or an approval that authorizes more than the user saw.
Primary evidence and reproducibility
FAQ
O que é um checklist de segurança para agentes?
Um conjunto de gates verificáveis para dependências, ferramentas, permissões, sandbox, memória, aprovação, logs e recuperação.
Por que fixar a versão do MCP?
Sem pinning, uma execução futura pode baixar código diferente. Versões, digests e lockfiles reduzem esse risco.
Skills são apenas documentação?
Não. Elas instruem um agente privilegiado e podem incluir scripts e permissões.
Passar no checklist prova segurança?
Não. Ainda são necessários red teaming, monitoramento e resposta a incidentes.