Guía del usuario de Agents

Seguimientos de agente

Acerca de los seguimientos​

• Depuración y resolución de problemas: identifica exactamente dónde falló o se comportó de forma inesperada un agente.
• Análisis de rendimiento: evalúa la latencia, los errores y el rendimiento en las ejecuciones de agentes para optimizar el comportamiento.
• Cumplimiento y auditoría: mantiene un registro verificable de lo que hizo el agente, cuándo y cómo. Es esencial para las auditorías o los flujos de trabajo regulados.
• Mejora continua: utiliza información de seguimiento para ajustar la lógica del agente, adaptar el comportamiento o entrenar nuevos modelos.

Tipos de seguimiento​

• Seguimientos de ejecución de agente: estos seguimientos capturan la ejecución paso a paso de un agente durante una ejecución en vivo o programada. Muestran cómo el agente procesa datos, invoca herramientas, gestiona condiciones y responde a diferentes estados en tiempo real.
• Seguimientos de ejecución de evaluación: los seguimientos de evaluación se generan cuando un agente se prueba con entradas predefinidas, normalmente durante evaluaciones de modelos, validaciones de escenarios o casos de prueba. Estos ayudan a evaluar la precisión del agente, la calidad de la decisión y el comportamiento en condiciones controladas.

Acceder a los seguimientos​

• Agent Builder: mientras diseñas o pruebas tu agente, los seguimientos están disponibles directamente en el creador:
  • El panel inferior se abre automáticamente en la pestaña Seguimiento de ejecución cuando ejecutas tu agente, mostrando seguimientos en vivo para la ejecución actual. También puedes cambiar a la pestaña Historial para ver las ejecuciones anteriores y añadirlas directamente a los conjuntos de evaluación.
  • Las pestañas Evaluaciones y Salida proporcionan otra vista de las ejecuciones recientes, donde puedes inspeccionar el comportamiento y los resultados junto con la definición de tu agente.
• Página Instancias de agente: ve a la sección Agentes > Instancias.Desde aquí, selecciona un agente específico y selecciona cualquier ejecución para abrir su vista de seguimiento, que incluye el seguimiento visual completo y el panel de registro.

• Consulta los resultados de la ejecución, como se indica con los nodos codificados por colores: correcto, error o reintentar.
• Pasa el cursor sobre cualquier nodo para obtener una vista previa: marcas de tiempo de inicio y fin, estado de ejecución, fragmentos de entrada y salida.
• Selecciona un nodo para ver los detalles, incluyendo: cargas útiles JSON completas, registros y errores, métricas de runtime (uso de tokens, latencia).

Gestión del acceso a datos de seguimiento​

• Logs.View
• Jobs.View

Feedback on agent runs​

• Evolución sobre la repetición: a diferencia de las resoluciones estáticas, la memoria basada en comentarios permite que el comportamiento del agente mejore con el tiempo. El agente aprende a reconocer patrones marcados como correctos o incorrectos.
• Mejora dirigida: este enfoque es más valioso en flujos en los que el agente realiza con frecuencia "casi lo correcto" o en los que la política de decisión aún se está desarrollando.
• Memoria selectiva: no todos los comentarios se convierten automáticamente en memoria. Debes determinar activamente qué anotaciones representan oportunidades de aprendizaje de alto valor, para evitar que comentarios de baja calidad o inconsistentes degraden el rendimiento.

Dónde aplicar los comentarios​

Cuándo aplicar comentarios​

• Escenarios críticos: seguimientos que implican decisiones de alto riesgo o errores de alto impacto.
• Patrones recurrentes: áreas en las que el agente tiene dificultades constantemente o exhibe fallos repetitivos.
• Decisiones difíciles: instancias en las que el agente se enfrentó a una elección compleja.
• Sentimiento negativo: ejecuciones que daban como resultado una experiencia de usuario deficiente.
• Comportamiento del modelo: ejemplos que ilustran claramente un comportamiento específico que quieres que el agente copie estrictamente o evite estrictamente.

• Priorizar seguimientos: céntrate en seguimientos de escenarios críticos, errores de alto impacto o patrones recurrentes en los que el agente tiene dificultades.
• Escenarios de alto valor: prioriza ejecuciones que representan decisiones difíciles para el agente, muestran un sentimiento negativo del usuario o ilustran claramente un comportamiento que quieres que el agente copie o evite.
• Áreas de enfoque: identifica claramente aquello en lo que estás proporcionando comentarios:
  • Salida: ¿el resultado final cumplió las expectativas?
  • Ejecución del plan (trayectoria): ¿el agente realizó los pasos de la tarea en el orden esperado?
  • Comentarios: utiliza comentarios para enriquecer la retroalimentación e informar la recuperación de memoria.

Configuración personalizada de tiempo de vida para seguimientos​

• Cuando está habilitado: los intervalos se conservan durante el número de días especificado en el campo Días TTL y se eliminan automáticamente una vez que caducan.
• Cuando está deshabilitado: los seguimientos no están sujetos a una política de TTL estricta.

1. Ve a Automation Ops.
2. Si aún no tienes una política de AI Trust Layer, selecciona Añadir política de producto - AI Trust Layer. De lo contrario, abre y edita tu política existente.
3. Selecciona Alternancia de características.
4. Configure los siguientes campos:
   • Aplicación de tiempo de vida para datos de seguimiento : cuando se habilita, esta configuración controla cuánto tiempo permanecen visibles los intervalos antes de eliminarse. Una vez caducado el TTL, todos los intervalos afectados se eliminan de forma permanente de la IU.
     • Días TTL : especifica el número de días que se almacenan los intervalos de seguimiento antes de ser purgados.
   • Datos de seguimiento de Insights restringidos : si se habilita, todos los metadatos que no sean de UiPath se eliminan de los datos de seguimiento antes de enviarlos a Insights. Esto limita el detalle disponible en Insights y afecta a la capacidad de ver métricas detalladas o agregadas en la página Agentes.

Implicaciones de control de seguimiento​

• Análisis: tu configuración de TTL determina cuántos datos de seguimiento históricos están disponibles para el análisis. Una retención más corta admite requisitos de minimización de datos más estrictos, mientras que una retención más larga conserva más contexto de ejecución para la investigación y la resolución de problemas.
• Eliminación de datos: los intervalos se eliminan automáticamente una vez que superan el TTL configurado. Cambiar tu TTL no restaura ningún dato que ya haya caducado o haya sido restringido.
• Visibilidad: las ejecuciones que quedan fuera de la ventana TTL ya no aparecen en la interfaz de usuario de Seguimientos o en los componentes que dependen de los datos de seguimiento de la capa de velocidad.
• Ámbito: el TTL configurado se aplica a todos los tramos dentro del tenant y afecta a la visibilidad de cada usuario.
• Excepciones: algunas características pueden omitir TTL por completo, como la memoria del agente y los comentarios de seguimiento. Los datos de estas características se conservan indefinidamente hasta que se defina una política de fin de vida útil dedicada.