Aprobación humana de agentes de IA

La aprobación humana permite que una persona acepte o rechace una acción propuesta por un agente de inteligencia artificial (IA). En inglés, este control se conoce como human in the loop. La aplicación debe mostrar la acción exacta, aplicar la decisión y guardar lo que ocurrió. El registro permite comprobar si la acción ejecutada coincide con la aprobada.

¿Qué aporta la aprobación humana?

La aprobación humana es uno de varios controles. El Open Worldwide Application Security Project (OWASP) recomienda exigirla para acciones de alto impacto. El sistema también debe limitar los permisos y las herramientas del agente. La aplicación bloquea las acciones fuera de esos permisos antes de que lleguen a una persona. OWASP, LLM06:2025

Con la supervisión humana, una persona vigila la operación y puede intervenir cuando detecta un problema. En inglés, este enfoque se llama human on the loop. Puede servir para tareas frecuentes de bajo impacto. La aprobación previa da a la persona el control sobre una acción concreta. Guía de gobernanza de IA

¿Cómo fallan las solicitudes de aprobación?

• Solicitudes vagas. La pantalla dice que el agente actualizará un registro. La persona necesita ver qué campos cambian y cuáles serán los valores.
• Destinatarios ocultos. La pantalla indica que el agente enviará un mensaje. La persona necesita ver el texto completo y todos los destinatarios.
• Pantallas manipuladas. Un atacante puede alterar lo que muestra el diálogo. OWASP describe un caso de Checkmarx en Claude Code que partió de una incidencia en GitHub. OWASP, Lies-in-the-Loop
• Fatiga por exceso de solicitudes. Si muchas solicitudes se parecen, la persona puede acostumbrarse a aprobarlas sin revisarlas.

Un estudio en un centro médico examinó 16.011 alertas sobre interacciones entre medicamentos. Los profesionales anularon 15.318 alertas, el 95,7 %. Entre las más graves, anularon 193, el 87,3 %. El estudio midió alertas clínicas. Sirve para ilustrar el riesgo de pedir atención humana con demasiada frecuencia. Edrees y colaboradores, JAMIA, 2020

¿Qué debe mostrar la pantalla?

La aplicación construye la pantalla con la llamada a la herramienta y sus propios registros. Una llamada especifica qué herramienta se usará y qué datos recibirá. El modelo puede añadir un resumen. La persona debe poder consultar los datos de la acción.

• La herramienta y los valores exactos que recibirá.
• El sistema de destino y las personas o registros afectados.
• La posibilidad de revertir la acción.
• El origen de los datos, con el contenido externo identificado.
• La identidad y los permisos con los que se ejecutará la acción.
• Los pasos anteriores del agente en la misma tarea.
• Los valores anteriores y nuevos de cada campo. Para un mensaje, muestra el texto y los destinatarios.

El Protocolo de Contexto del Modelo (MCP) permite conectar agentes con herramientas. Su especificación recomienda que una persona pueda rechazar una llamada a una herramienta. Especificación de MCP

¿Qué debe aplicar el sistema?

1. Política. La aplicación decide qué acciones requieren aprobación. El agente carece de permisos para saltar ese paso.
2. Correspondencia. La aplicación ejecuta la solicitud exacta que aprobó la persona. Si cambia un campo, pide una nueva aprobación.
3. Autoridad. Solo las personas con el rol adecuado pueden aprobar. Quien solicita una acción no aprueba su propia solicitud.
4. Segunda aprobación. Para las acciones de mayor impacto, la aplicación exige una segunda persona. Define esa regla para pagos, cambios de acceso y otras acciones críticas.

Las instrucciones ocultas en un correo pueden influir en el modelo. La aplicación debe aplicar la política incluso si el modelo propone saltarla. Inyección de instrucciones

¿Qué debe guardar el registro?

El control AU-3 del Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) enumera seis datos. El registro debe identificar el tipo de evento, cuándo ocurrió, dónde ocurrió, su origen, su resultado y las identidades implicadas. NIST SP 800-53 Rev. 5

Para una aprobación de agente, guarda también lo que vio la persona y la llamada exacta que se ejecutó. Compara ambos registros durante una prueba. Si la llamada cambia después de la aprobación, el sistema debe bloquearla.

¿Qué acciones requieren aprobación?

Acción	¿Se puede revertir?	Control	Qué revisa la persona
Leer datos internos dentro del alcance	No modifica datos	Ejecución automática con registro	Una muestra del registro.
Actualizar un registro interno	Por lo general	Una aprobación	Los campos, los valores y la identidad.
Enviar un mensaje fuera de la empresa	No	Aprobación según el riesgo	El mensaje completo y todos los destinatarios.
Mover dinero	No siempre	Segunda aprobación para operaciones de alto impacto	El importe, la cuenta y el destinatario del pago.
Cambiar permisos	A veces	Segunda aprobación para cambios de alto impacto	Quién recibe qué acceso y por cuánto tiempo.
Tomar muchas decisiones rutinarias	Depende	Supervisión humana	Las alertas que requieren intervención.

Ajusta los controles al impacto de cada acción. Reserva la aprobación previa para los casos que requieren una decisión. La lista de comprobación de Chiri cubre otra decisión, la autorización para poner el sistema en producción. Lista de comprobación para el lanzamiento

Preguntas frecuentes

¿Puede el agente falsificar una solicitud de aprobación?

Puede intentar manipular el texto que ve la persona. La aplicación debe construir la pantalla a partir de los datos de la llamada. OWASP, Lies-in-the-Loop

¿Cómo se reduce la fatiga por exceso de solicitudes?

Permite que las acciones internas, reversibles y de bajo impacto se ejecuten con registro cuando la política lo permita. Conserva la revisión previa para las decisiones que puedan causar daño.

¿Cómo se comprueba que la aprobación funcionó?

Cambia un dato después de la aprobación durante una prueba. Verifica que la aplicación bloquee la ejecución. Después, comprueba que el registro muestre tanto la solicitud aprobada como el intento bloqueado.

Chiri diseña y opera software de IA para empresas. Chiri Glacier comprueba las acciones antes de ejecutarlas. Los registros permiten revisar el resultado. Chiri Brain