Guía del usuario de Documentos complejos y no estructurados

Evaluar el rendimiento del modelo

• La pestaña Crear, que muestra la puntuación general del proyecto, así como la tasa de error para cada documento.
• La pestaña Medir, que muestra el rendimiento a nivel de grupo de campos y de campo.

Evaluación del rendimiento del modelo en Crear​

Evaluar el rendimiento del modelo en Medir​

• Una tabla de rendimiento de campo que muestra métricas de rendimiento clave por campo y grupo de campos.
• Soporte para comparar las diferencias de rendimiento entre las versiones del modelo, resaltando mejoras o regresiones.
• Visibilidad en la distribución de los tipos de error para cada campo de taxonomía.
• Capacidades de exportación de datos para análisis sin conexión personalizados.

Resumen del proyecto​

• Seleccionar la versión del modelo que quieres evaluar.
• Obtener una ojeada del rendimiento general utilizando Puntuación del proyecto y Tasa de error media de documentos.
• Detectar rápidamente si el rendimiento general del proyecto tiene tendencia al alza o a la baja al compararla con una versión anterior.

Puntuación del proyecto​

• Proporciona una forma única y coherente de realizar un seguimiento del progreso general a medida que iteras en la taxonomía, las instrucciones y las anotaciones.
• Te ayuda a determinar rápidamente si una versión de modelo generalmente mejora o empeora antes de analizar campos específicos.

• La puntuación del proyecto se calcula como la media simple de las puntuaciones F1 en todos los campos de la taxonomía.
• La puntuación F1 es una métrica de rendimiento de modelo estándar que equilibra la precisión y el rendimiento, es decir, la media armónica de los dos.
• En un nivel alto:
  • Respuestas de precisión: ¿con qué frecuencia eran correctos los valores predichos del modelo?
  • Respuestas de recuperación: ¿cuántos de los datos anotados encontró correctamente el modelo?

Tasa de error media del documento​

Tabla de rendimiento de campo​

• ¿Qué campos limitan el rendimiento general del modelo?
• ¿Los errores se concentran en unos pocos campos o se propagan ampliamente?
• ¿Un cambio reciente de modelo mejoró o degradó los campos específicos?

Métricas de rendimiento​

• Puntuación de F1: la media armónica de la precisión y la recuperación: F1 = 2 × (Precisión × Recuperación) / (Precisión + Recuperación).La puntuación F1 solo sigue siendo alta cuando tanto la precisión como la recuperación son altas. En la práctica, esto hace que F1 sea un indicador de calidad general sólido para las tareas de extracción en las que se busca evitar valores incorrectos y evitar valores perdidos.Por lo tanto, F1 es una métrica útil inicial para revisar y analizar los cambios de rendimiento de campo entre las versiones de modelo.
• Precisión: mide la frecuencia con la que los valores predichos son correctos: precisión = positivos verdaderos / (positivos verdaderos + falsos positivos). Los positivos verdaderos son las predicciones que coinciden con el valor anotado, excluyendo los valores anotados como faltantes.
• Recuperación: mide la frecuencia con la que el modelo encuentra un valor cuando existe: Recuperación = Verdaderos positivos / (Verdaderos positivos + Falsos negativos).Los falsos negativos son valores anotados que el modelo no predijo, excluyendo los valores anotados como faltantes.
• Tasa de error: errores totales / anotaciones totales. Los valores marcados como faltantes se incluyen en el recuento de errores y anotaciones.
• Tasa de error (excluyendo los faltantes): (Errores totales – predicciones adicionales) / Valores anotados. Se excluyen los valores anotados marcados como faltantes.

Predicciones y errores​

• Errores totales: número total de errores para un campo en todas las clases de error: Errores totales = Predicciones incorrectas + Predicciones no cumplidas + Predicciones adicionales.
• Predicciones totales: número total de valores predichos para un campo: Predicciones totales = Valores correctos + Valores faltantes + Predicciones incorrectas.
• Predicciones incorrectas: número de predicciones en las que el valor extraído no coincide con la anotación. Excluye las predicciones y los valores anotados marcados como faltantes.
• Predicciones adicionales: número de valores predichos que el modelo no debería haber extraído, o no tenían una anotación correspondiente o una anotación marcada como faltante.
• Predicciones omitidas: número de valores anotados que el modelo no pudo extraer.
• Valores correctos: número de valores predichos que coinciden exactamente con la anotación.
• Faltantes correctos: número de instancias en las que el modelo predijo correctamente que falta un valor.

Anotaciones​

• Anotaciones totales: número total de anotaciones, incluidos los valores marcados como faltantes: anotaciones totales = Valores anotados + Valores anotados marcados como faltantes.
• Valores anotados: número total de valores de campo anotados, excluyendo los marcados como faltantes.
• Anotado como faltante: número total de veces que un campo se etiquetó explícitamente como faltante.

Métricas en el nivel de documento​

• Documentos con errores: número total de documentos en los que el campo tiene al menos un error.
• Documentos anotados: número total de documentos en los que el campo tiene al menos un valor de campo anotado.
• Porcentaje de documentos con errores: porcentaje de documentos anotados que contienen al menos un error para el campo: Documentos con errores / Documentos anotados.

Escenarios de ejemplo​

• El modelo extrae valores para un campo, pero hay más valores predichos de los que se espera encontrar.
• Causas raíz comunes:
  • La instrucción de campo es demasiado amplia o ambigua. Por ejemplo, la instrucción de campo es capturar la cantidad, pero no especifica cuál cantidad.
  • El documento tiene valores similares que se pueden confundir entre sí, por ejemplo, subtotal frente a total, envío frente a factura.

• La recuperación es baja y la precisión es moderada o alta (F1 suele ser baja o moderada).
• El número de predicciones omitidas es alto, a menudo más que incorrecto o adicionales.

• El modelo falla al extraer valores que están presentes.
• Causas raíz comunes:
  • La instrucción de campo es demasiado angosta, lo que significa ejemplos demasiado restringidos o requisitos de etiqueta demasiado específicos.
  • El valor aparece en varios formatos, como fechas e ID, y la instrucción no cubre las variantes.

• Usa Predicciones omitidas + Valores anotados para confirmar que se trata de un problema de recuperación, es decir, que los valores existen pero no se encontraron. Comprueba los valores anotados para confirmar que haya un número razonable de puntos de datos anotados para el campo y las predicciones omitidas para confirmar que el modelo luche por buscar valores en lugar de predecirlos incorrectamente.
• Expande las instrucciones para incluir variantes aceptables: etiquetas o sinónimos alternativos, varios patrones de formato, sugerencias de ubicación (por ejemplo, cerca de los detalles del solicitante o en la sección de prestatario).

• La tasa de error es alta o el Total de errores es alto.
• Los documentos con errores son bajos en relación con los documentos anotados.
• A menudo, un campo tiene un aspecto incorrecto pero solo falla en un pequeño subconjunto de documentos.

• Los errores son impulsados por los documentos atípicos, no por el comportamiento sistémico del campo.
• Causas raíz comunes:
  • Un documento o formato específico se comporta de forma diferente al resto.
  • Incidencias de OCR o de calidad en un pequeño número de documentos, como escaneos borrosos, sesgados y superposiciones escritas a mano.
  • El campo está presente en la mayoría de los documentos, pero tiene un formato inusual en unos pocos, por ejemplo, de varias líneas frente a de una sola línea.

• Compara los documentos con errores y los documentos anotados y, opcionalmente, el porcentaje de los documentos con errores, para confirmar la concentración.
• Ordena los documentos por tasa de error en la página Crear e inspecciona los documentos con la tasa de error más alta para identificar si el campo tiene un rendimiento deficiente en un subconjunto específico.

• Grandes diferencias en la F1 o la tasa de error entre las versiones del modelo (hacia arriba o hacia abajo), pero los valores anotados son bajos, los documentos anotados son bajos o ambos.

• Las métricas de campo aún no son estables debido al pequeño tamaño de la muestra.
• Causas raíz comunes:
  • Demasiado pocos ejemplos: 1 a 2 documentos pueden cambiar significativamente las tasas.
  • El campo rara vez está presente, es decir, muchos casos faltantes y pocos valores verdaderos.
  • Un puñado de documentos difíciles dominan la métrica.

• Comprueba Valores anotados, Documentos anotados y Anotados como faltantes para validar la baja cobertura.
• Trata las métricas como direccionales, no definitivas, hasta que aumente la cobertura.
• Añade más datos etiquetados específicamente para ese campo: da prioridad a los documentos en los que esté presente el campo e incluye un conjunto diverso de muestras o variantes.
• Usa las comparaciones de versión solo después de que la cobertura sea suficiente para reducir el ruido impulsado por la variabilidad.

Filtrado y clasificación​

• Valores anotados <10
• Puntuación de campo F1 < 50
• Puntuación de campo F1 dentro de 50–70

Configuración de visibilidad​

1. Habilita la alternancia Mostrar diferencias en las puntuaciones de: Versión.

2. Selecciona el desplegable Mostrar diferencias en las puntuaciones de: Versión.

   

3. Selecciona Configuración de visibilidad.

4. En la ventana emergente Cambios en la versión - configuración de visibilidad, selecciona Todas las métricas.Las opciones disponibles son:

   • Solo métricas de rendimiento: las métricas de rendimiento se determinan comparando las predicciones del modelo con las anotaciones, como la puntuación F1 y la tasa de error.
   • Todas las métricas
   • Mostrar cambios dentro de la variabilidad del modelo: de forma predeterminada, los cambios dentro de los rangos de variabilidad de la versión actual no se consideran significativos y se ocultan. Habilítalos para mostrarlos. Cuando se selecciona, la siguiente opción está disponible:
     • Mostrar colores para todos los cambios: de forma predeterminada, los cambios dentro del intervalo de variabilidad aparecen en gris. Habilitar para colorear todos los cambios de verde o rojo.

5. Selecciona Guardar.

Versiones del modelo​

Seleccionar una versión de modelo​

Comparar diferentes versiones de modelo utilizando diferencias de puntuación​

• Medir te permite ver las diferencias de puntuación de otra versión de modelo.
• Los cambios positivos o negativos resaltan mejoras o regresiones. De forma predeterminada, Medir realiza comparaciones con la versión anterior del modelo en relación con la versión del modelo creada más reciente.

Comprender la variabilidad del modelo y el impacto en las diferencias de puntuación​

• Comprender si un cambio de rendimiento es significativo.
• Evitar sobreinterpretar pequeñas fluctuaciones métricas.

• Las diferencias de puntuación que caen dentro del intervalo de variabilidad de una métrica están ocultas al comparar dos versiones de modelo.
• Puedes seleccionar para mostrar todos las diferencias de puntuación o solo las diferencias que sean mayores o iguales a la variabilidad de una métrica.

1. Habilita la alternancia Mostrar diferencias en las puntuaciones de: Versión.
2. Selecciona el desplegable Mostrar diferencias en las puntuaciones de: Versión.
3. Selecciona Configuración de visibilidad.
4. En la ventana emergente, selecciona Mostrar cambios dentro de la variabilidad del modelo. Las opciones disponibles son:
   • Solo métricas de rendimiento: las métricas de rendimiento se determinan comparando las predicciones del modelo con las anotaciones, como la puntuación F1 y la tasa de error.
   • Todas las métricas
   • Mostrar cambios dentro de la variabilidad del modelo: de forma predeterminada, los cambios dentro de los rangos de variabilidad de la versión actual no se consideran significativos y se ocultan. Habilítalos para mostrarlos. Cuando se selecciona, la siguiente opción está disponible:
     • Mostrar colores para todos los cambios: de forma predeterminada, los cambios dentro del intervalo de variabilidad aparecen en gris. Habilitar para colorear todos los cambios de verde o rojo.
5. Opcionalmente, selecciona Mostrar colores para todas las diferencias si quieres que todas las diferencias de puntuación aparezcan en verde o rojo. De forma predeterminada, las diferencias dentro del intervalo de variabilidad se muestran en gris.
6. Selecciona Guardar.

Destacar una versión del modelo​

1. Expande el menú desplegable Versión del modelo para ver la lista con todas las versiones disponibles.
2. Selecciona el icono de estrella junto a la versión del modelo que quieres que se muestre siempre en la parte superior de la lista y en el panel.

Exportar datos de Medir​

• Análisis sin conexión.
• Filtrado personalizado.
• Compartir resultados con las partes interesadas.

1. Ve a la página Medir.
2. Selecciona los tres puntos verticales.
3. Selecciona Exportar como archivo de Excel.