Guía práctica · Harness Engineering
Checklist de seguridad para agentes de IA: 10 controles de Harness Engineering
Antes de dar acceso a shell, repositorio, nube o despliegue, prueba el sistema alrededor del modelo. Un estudio de 3.171 repositorios halló defectos confirmados en el 16,0% de las configuraciones ensambladas.
Evidence classification: CONFIRMADO: se midieron archivos de configuración, no intrusiones en runtime. NO CONFIRMADO: exfiltración o explotación de todos los repositorios. ANÁLISIS: estos controles convierten los hallazgos en un modelo de producción.
What the study measured
En 2.660 setups, 9,8% usaba MCP sin versión, 3,1% concedía ejecución arbitraria bajo permisos aparentemente limitados y 3,8% incluía skills que preaprobaban shell. La unión fue 16,0%; no se confirmó exfiltración.
The 10 production checks
- 01
Fija dependencias MCP
Test: Rechaza lanzadores sin versión exacta, digest o lockfile.
Evidence: The study confirmed unpinned MCP packages in 9.8% of 2,660 assembled setups.
- 02
Expande patrones de permisos
Test: Verifica qué puede ejecutar realmente cada patrón.
Evidence: 3.1% of setups carried an arbitrary-execution grant disguised as a narrower permission.
- 03
Trata skills como dependencias ejecutables
Test: Revisa instrucciones, scripts, origen y commit.
Evidence: 3.8% of setups and 3.7% of skill collections contained a skill that pre-approved shell access.
- 04
Separa intención y autoridad
Test: El modelo propone; la política determinista autoriza.
Evidence: A prompt is advisory. The harness and tool layer decide what can actually execute.
- 05
Aísla el radio de impacto
Test: Usa espacios aislados, credenciales efímeras y allowlists.
Evidence: Installed harness components run with developer privileges unless the execution environment narrows them.
- 06
Vincula aprobación al efecto
Test: Ata la aprobación a comando, destino y payload exactos.
Evidence: Broad approvals convert a one-time human decision into reusable authority.
- 07
Aísla memoria y secretos
Test: No heredes secretos o memoria sin necesidad.
Evidence: Composition creates paths that no individual configuration file reveals.
- 08
Registra propuesta, decisión y resultado
Test: Conserva política, aprobación, respuesta y diff.
Evidence: Auditing configuration alone cannot prove what the runtime later executed.
- 09
Haz reintentos idempotentes
Test: Usa claves de idempotencia, checkpoints y rollback.
Evidence: Recovery can repeat an already completed side effect when state is ambiguous.
- 10
Valida el harness en CI
Test: Analiza contexto, skills, hooks, MCP y subagentes juntos.
Evidence: 16.0% of studied setups had at least one confirmed security defect; raw scanner output overestimated risk, so findings need validation.
Threat path: from installation to side effect
A secure harness places independent checks between every step. Reviewing the model alone cannot detect a package that changes later, a skill that carries shell permission, or an approval that authorizes more than the user saw.
Primary evidence and reproducibility
FAQ
¿Qué es este checklist?
Diez gates verificables para el harness de un agente.
¿Por qué fijar MCP?
Evita descargar código distinto en ejecuciones futuras.
¿Las skills son documentación?
No; pueden conducir a ejecución real.
¿Garantiza seguridad?
No; también hacen falta pruebas y monitorización.