Observabilidad de IA para agentes en producción

La observabilidad de inteligencia artificial (IA) reúne los registros de una ejecución. Esos registros muestran qué hizo el agente y cómo terminó la tarea. Un servicio puede responder con rapidez y aun así usar la fuente equivocada. Para encontrar el fallo, registra los pasos del agente y comprueba la calidad del resultado.

Qué registrar en cada ejecución

• Pasos y herramientas. Guarda la secuencia de pasos, las herramientas usadas y las fuentes consultadas. Usa un identificador común para relacionar los eventos. El conjunto de eventos se llama traza.
• Costo. Registra el uso del modelo y el costo por tarea terminada. Incluye los intentos fallidos para ver cuánto cuesta producir un resultado que el equipo acepta.
• Calidad. Evalúa muestras con criterios acordados. Guarda las correcciones de las personas que usan el resultado.
• Seguridad. Registra acciones bloqueadas, aprobaciones y rechazos. Relaciona cada evento con la regla que lo produjo.
• Tiempo y errores. Mide el tiempo de respuesta y los errores de cada herramienta. Avisa al responsable si se supera el límite acordado.

Define qué datos puedes guardar y quién puede consultarlos. Un registro puede contener información confidencial. Conserva solo los datos necesarios y aplica los plazos de conservación de la empresa.

Cómo encontrar la causa de un fallo

Supón que un agente de soporte dio un plazo de entrega incorrecto. La traza muestra qué consulta hizo, qué fuente respondió y qué información usó el agente. Si consultó un registro antiguo, revisa la selección de fuentes. Si obtuvo el dato correcto y lo cambió en la respuesta, revisa la generación de la respuesta.

Anthropic informó que las trazas de producción ayudaron a su equipo a diagnosticar los fallos de su sistema de investigación. Las trazas sirven para localizar pasos que los usuarios no pueden ver. Anthropic, junio de 2025

Cómo usar medidas y revisión humana

Una medida automática puede indicar si la respuesta incluye un número de pedido. Una persona puede comprobar si ese número corresponde al cliente. Acuerda una muestra y define qué cuenta como error. Compara resultados similares antes y después de cambiar un modelo o una herramienta.

Mide el costo junto con la calidad. Si baja el precio por respuesta pero suben las correcciones, calcula de nuevo el costo por tarea aceptada. Costo de los tokens

Cómo empezar con un agente

Elige el agente que realiza más tareas o maneja las acciones de mayor impacto. Registra una ejecución completa y confirma que puedes reconstruirla. Añade el costo, una revisión de calidad y alertas de seguridad. Asigna las alertas a una persona con autoridad para investigar y detener la operación.

OpenTelemetry publica convenciones para describir eventos y medidas de IA generativa. Revisa el estado de cada convención antes de depender de sus campos. Convenciones de OpenTelemetry