- Primeros pasos
- Acerca de Test Manager
- Acerca del chat de Autopilot
- Acerca del enmascaramiento PII
- Primeros pasos
- Disponibilidad de la característica de Test Manager
- Precios unificados: Licensing Test Manager
- Flex: licencias de Test Manager
- Guía de inicio rápido
- Gestión de proyecto
- Documentos
- Trabajo con el análisis de impacto de cambios
- Creación de casos de prueba
- Asignar Casos de prueba a los Requisitos
- Clonación de casos de prueba
- Exportar casos de prueba
- Vincular casos de prueba en Studio a Test Manager
- Delete test cases
- Casos de prueba manuales
- Importar casos de prueba manuales
- Documentar casos de prueba con Task Capture
- Parámetros
- Habilitar la gobernanza a nivel de proyecto
- Deshabilitar la gobernanza a nivel de proyecto
- Habilitar el control a nivel de caso de prueba
- Deshabilitar el control a nivel de caso de prueba
- Gestionar aprobadores para casos de prueba controlados
- Gestionar casos de prueba gobernados en el estado En trabajo
- Gestionar casos de prueba controlados en el estado En revisión
- Gestionar objetos controlados en estado Firmado
- Gestionar comentarios para casos de prueba controlados
- Aplicar filtros y vistas
- Importar conjuntos de pruebas de Orchestrator
- Creating test sets
- Añadir casos de prueba a un conjunto de pruebas
- Asignar usuarios predeterminados en la ejecución del conjunto de pruebas
- Habilitación de la cobertura de actividad
- Habilitar Healing Agent
- Configurar conjuntos de pruebas para carpetas de ejecución y robots específicos
- Anular parámetros
- Clonación de conjuntos de pruebas
- Exportar conjuntos de pruebas
- Aplicar filtros y vistas
- Preguntas frecuentes: paridad de características: Test Manager frente a Orchestrator
- Ejecución de pruebas manuales
- Ejecución de pruebas automatizadas
- Ejecutar casos de prueba sin un conjunto de pruebas
- Ejecutar pruebas mixtas
- Crear ejecuciones pendientes
- Aplicar una orden de ejecución
- Volver a ejecutar ejecuciones de prueba
- Programar ejecuciones
- Solución de problemas de ejecuciones automatizadas
- Pruebas de accesibilidad para Test Cloud
- Buscar con Autopilot
- Operaciones y utilidades del proyecto
- Configuración de Test Manager
- Configuración del nivel de tenant
- Gestión de acceso de usuario y grupo
- Búsqueda de Autopilot
- Campos personalizados
- Biblioteca de solicitudes
- Configuración general del proyecto
- Configuración del proyecto de automatización
- Mis notificaciones
- Cifrado de claves administradas por el cliente
- Registros de auditoría
- Integración de herramientas de ALM
- Integración de API
- Solución de problemas
Guía de usuario de Test Manager
Ejecuta un escenario de rendimiento ejecutando primero una ejecución en seco para validar la estabilidad y los requisitos de recursos, y luego lanzando una ejecución completa para medir la carga, los tiempos de respuesta y las tasas de error en tus usuarios virtuales configurados.
-
Inicia sesión en Test Manager.
-
Abre un proyecto.
-
Realiza una ejecución en seco. Abre un escenario de rendimiento y selecciona Ejecución en seco.
Consejo:Una ejecución en seco ejecuta cada grupo de carga con un solo robot para validar la estabilidad de la automatización y detectar configuraciones erróneas de la infraestructura. Después de que se inicie la ejecución en seco, expande el panel Registros de la aplicación desde el lado derecho para comprobar si hay características no compatibles detectadas por el Analizador de flujo de trabajo. Revisa el registro de actividad y los archivos del flujo de trabajo para identificar y corregir cualquier problema antes de ejecutar una ejecución completa. La ejecución en seco también calcula los recursos necesarios antes de la ejecución completa.
-
Ver transmisión en vivo durante la ejecución en seco. Durante la ejecución en seco, puedes ver la ejecución en tiempo real. En Grupos de prueba, identifica un grupo y selecciona su icono de cámara asociado para ver la transmisión en vivo.
Nota:La transmisión en vivo solo está disponible durante las ejecuciones en seco.
-
Ejecuta una ejecución completa. Abre un escenario de rendimiento para el que ya hayas realizado una ejecución en seco. Selecciona Ejecución completa. La pantalla de ejecución. se abre automáticamente.
-
Supervise el panel en tiempo real y compruebe el estado de ejecución. La barra de progreso muestra cuatro fases secuenciales.
- Cargando configuración de prueba : el sistema valida la configuración del escenario y carga los detalles de configuración (casos de prueba, grupos de carga, umbrales y fuentes de datos).
- Aprovisionar recursos : se asignan los recursos de ejecución necesarios.
- Para los robots en la nube, esto significa aprovisionar robots sin servidor y consumir Platform Units.
- Para los robots locales, esto significa que están disponibles las máquinas y los tiempos de ejecución correctos.
- Preparar usuarios virtuales : los usuarios virtuales se inicializan en función de la configuración del grupo de carga definido, que incluye conectar robots, asignar casos de prueba y preparar el entorno de ejecución.
- Ejecución completa : la prueba de rendimiento real se ejecuta de acuerdo con el perfil de carga configurado (aumento, pico, disminución). La supervisión en tiempo real de las métricas (tiempos de respuesta, tasas de error, uso de infraestructura) está disponible en esta etapa.
-
Consulta la descripción general de la ejecución. El panel muestra el resumen de una ejecución de prueba de rendimiento.
- Grupos de carga: grupos de carga activos que se ejecutan actualmente en paralelo.
- Usuarios virtuales: usuarios virtuales actualmente activos para todo el escenario.
- Errores: se han producido errores durante la ejecución hasta ahora (
HTTP, errores de automatización) en todos los grupos. - Tiempo de respuesta medio: tiempo de respuesta medio y máximo detectado en todos los grupos.
- Gráfico: perfil de carga con una representación visual del progreso.
-
Consulta las métricas. El histograma representa el tiempo de respuesta medio general para el grupo de carga seleccionado actualmente. Puedes cambiar el tamaño y mover la barra resaltada para ampliar un intervalo de tiempo específico. También se proporcionan varios gráficos.
- La sección del gráfico Cargar perfil muestra cuántos usuarios virtuales estaban activos en un momento dado. Esto refleja las fases configuradas de aceleración, pico y reducción.
- La sección del gráfico Tiempo de respuesta HTTP (ms) realiza un seguimiento del tiempo de respuesta medio de las solicitudes
HTTPdurante el período seleccionado. Compara con umbrales (por ejemplo, 1000 ms) para ver dónde se degrada el rendimiento. - La sección del gráfico Errores HTTP muestra el porcentaje de errores de nivel
HTTP(por ejemplo, 404, 503). Esto ayuda a identificar si los problemas del servidor o de la red están causando inestabilidad. - La sección del gráfico Duración del paso de automatización (ms) mide cuánto tiempo tardan en ejecutarse los pasos de automatización individuales. Los picos pueden indicar ineficiencias o problemas en el diseño de automatización.
- La sección del gráfico Errores de automatización (%) muestra el porcentaje de errores en el nivel de automatización (por ejemplo, selectores fallidos, excepciones). Esto ayuda a diferenciar los errores del sistema de los problemas de automatización.
- La sección del gráfico Infraestructura: CPU de robots en ejecución (%) supervisa el uso de CPU de los robots que ejecutan la carga. Un uso alto o sostenido de la CPU puede indicar un cuello de botella de recursos.
- La sección del gráfico Infraestructura: memoria de robots en ejecución (%) realiza un seguimiento del consumo de memoria de los robots en ejecución. Esto es útil para detectar fugas de memoria o uso excesivo a lo largo del tiempo.
- Se muestran métricas de percentil de uso como P50, P90 o P95 para ayudarte a comprender la distribución de los tiempos de respuesta e identificar valores atípicos que pueden afectar a la experiencia del usuario. Estos están disponibles para métricas como: tiempo de respuesta HTTP, errores HTTP, duración del paso de automatización, errores de automatización.
-
Supervisar incidencias durante la ejecución. Comprueba el registro de la aplicación y los niveles de gravedad, en la parte derecha de la pantalla de ejecución. Para las pruebas de rendimiento de la API, puedes consultar el progreso de la ejecución y los resultados en formato gráfico y en formato métrico. Se muestra la siguiente información: niveles de API, promedio, mínimo, máximo.
- Información : información general, como la asignación de recursos
- Advertencia : infracciones de umbral o condiciones de riesgo potenciales
- Error : automatización o
HTTPfallos (por ejemplo, tiempos de espera de solicitud, errores de selector) - Fatal : fallos de ejecución graves que impiden que la prueba continúe
Resultado
El escenario de rendimiento completa su ejecución en seco o ejecución completa. El panel de resultados muestra perfiles de carga, tiempos de respuesta, tasas de error y métricas de infraestructura para cada grupo de carga.