Guide pratique · Harness Engineering
Checklist de sécurité des agents IA : 10 contrôles de Harness Engineering
Avant de donner accès au shell, au dépôt, au cloud ou au déploiement, testez le système autour du modèle. Une étude de 3 171 dépôts a confirmé des défauts dans 16,0 % des configurations assemblées.
Evidence classification: CONFIRMÉ : l’étude mesure les configurations, pas des compromissions runtime. NON CONFIRMÉ : exfiltration ou exploitation de chaque dépôt. ANALYSE : ces contrôles transforment les résultats en modèle de production.
What the study measured
Sur 2 660 setups, 9,8 % utilisaient un MCP non épinglé, 3,1 % accordaient une exécution arbitraire sous une permission trompeuse et 3,8 % contenaient une skill préautorisant le shell. Union : 16,0 %. Aucune exfiltration confirmée.
The 10 production checks
- 01
Épingler les dépendances MCP
Test: Refuser tout lanceur sans version, digest ou lockfile.
Evidence: The study confirmed unpinned MCP packages in 9.8% of 2,660 assembled setups.
- 02
Développer les motifs de permission
Test: Vérifier l’exécution réelle permise.
Evidence: 3.1% of setups carried an arbitrary-execution grant disguised as a narrower permission.
- 03
Traiter les skills comme exécutables
Test: Auditer instructions, scripts, origine et commit.
Evidence: 3.8% of setups and 3.7% of skill collections contained a skill that pre-approved shell access.
- 04
Séparer intention et autorité
Test: Le modèle propose ; la politique déterministe autorise.
Evidence: A prompt is advisory. The harness and tool layer decide what can actually execute.
- 05
Isoler le rayon d’impact
Test: Utiliser sandbox, secrets éphémères et allowlists.
Evidence: Installed harness components run with developer privileges unless the execution environment narrows them.
- 06
Lier l’approbation à l’effet
Test: Lier l’accord à la commande et au payload exacts.
Evidence: Broad approvals convert a one-time human decision into reusable authority.
- 07
Isoler mémoire et secrets
Test: Ne pas transmettre mémoire ou secrets par défaut.
Evidence: Composition creates paths that no individual configuration file reveals.
- 08
Journaliser décision et résultat
Test: Conserver politique, accord, réponse et diff.
Evidence: Auditing configuration alone cannot prove what the runtime later executed.
- 09
Rendre les reprises idempotentes
Test: Prévoir clés, checkpoints et rollback testé.
Evidence: Recovery can repeat an already completed side effect when state is ambiguous.
- 10
Contrôler le harness dans la CI
Test: Analyser ensemble contexte, skills, hooks, MCP et sous-agents.
Evidence: 16.0% of studied setups had at least one confirmed security defect; raw scanner output overestimated risk, so findings need validation.
Threat path: from installation to side effect
A secure harness places independent checks between every step. Reviewing the model alone cannot detect a package that changes later, a skill that carries shell permission, or an approval that authorizes more than the user saw.
Primary evidence and reproducibility
FAQ
Qu’est-ce que cette checklist ?
Dix gates vérifiables autour de l’agent.
Pourquoi épingler MCP ?
Pour empêcher qu’un lancement futur récupère un code différent.
Une skill est-elle documentaire ?
Non ; elle peut entraîner une exécution privilégiée.
La sécurité est-elle garantie ?
Non ; red team et monitoring restent nécessaires.