モデルのパフォーマンスを評価する

link

• [構築] タブ。プロジェクトの総合スコアと各ドキュメントのエラー率が表示されます。
• [測定] タブ。フィールド グループとフィールド レベルのパフォーマンスが表示されます。

• 主要なパフォーマンス メトリックがフィールドおよびフィールド グループごとに表示される [フィールドのパフォーマンス] の表
• モデル バージョン間のパフォーマンスの違いを比較し、改善点や退化点を明確に示すためのサポート
• タクソノミー フィールドごとの、エラーの種類の分布の可視化
• カスタムのオフライン分析を行うためのデータ エクスポート機能

プロジェクトの概要​

• 評価するモデル バージョンを選択する
• [プロジェクト スコア] と [ドキュメントの平均エラー率] を使用して、全体的なパフォーマンスを一目で確認する
• プロジェクトの全体的なパフォーマンスが、以前のバージョンと比較して上昇傾向であるか、下降傾向であるかを素早く特定する

プロジェクト スコア​

有益である理由​

• タクソノミー、指示、アノテーションを反復処理しながら、1 つの一貫した方法で全体的な進行状況を追跡できます。
• 特定のフィールドを詳しく分析する前に、モデルのバージョンが全般的に改善しているか、それとも退化しているかを素早く判断できます。

計算方法​

• プロジェクト スコアは、タクソノミーに含まれるすべてのフィールドの F1 スコアの単純平均として計算されます。
• F1 スコアは、モデルのパフォーマンスの標準的な指標です。適合率と再現率 (つまり、この 2 つの調和平均) のバランスを評価します。
• おおまかに説明すると、次のようになります。
  • 適合率の回答:モデルの予測値が正しかった頻度
  • 再現率の回答: アノテーション済みのデータのうち、モデルが正常に見つけたデータの割合

ドキュメントの平均エラー率​

有益である理由​

計算方法​

[フィールドのパフォーマンス] の表​

• モデルの全体的なパフォーマンスを制限しているのはどのフィールドか
• エラーは少数のフィールドに集中しているか、それとも広範囲に広がっているか
• モデルの最近の変更により、特定のフィールドが改善したか、それとも退化したか

パフォーマンス メトリック​

• F1 スコア — 適合率と再現率の調和平均です。「F1 = 2 × (適合率 × 再現率) / (適合率 + 再現率)」で計算されます。F1 スコアの高い状態が維持されるのは、適合率と再現率が両方とも高い場合のみです。このため、F1 は実際に、値の誤りや見逃しを避けることに注意が必要な抽出タスクの全体的な品質を示す強力な指標になります。したがって、F1 はモデル バージョン間のフィールドのパフォーマンスの変化を分析する場合に最初に確認すべきメトリックとして役に立ちます。
• 適合率 — 予測値が正しい頻度を測定します。「適合率 = 真陽性 / (真陽性 + 偽陽性)」で計算されます。真陽性とは、アノテーション済みの値に一致する予測です。「存在しない」とアノテーション済みの値は除外されます。
• 再現率 — 値が存在する場合に、モデルがその値を見つけた頻度を測定します。「再現率 = 真陽性 / (真陽性 + 偽陰性)」で計算されます。偽陰性とは、モデルが予測しなかったアノテーション済みの値です。「存在しない」とアノテーション済みの値は除外されます。
• エラー率 — 「エラーの合計 / アノテーションの合計」で計算されます。エラーの数とアノテーションの数には、存在しないとしてマーク済みの値が含まれます。
• エラー率 (欠落を除く) — 「(エラーの合計 – 過剰な予測) / アノテーション済みの値」で計算されます。存在しないとしてマーク済みのアノテーション済みの値は除外されます。

予測とエラー​

• エラーの合計 — すべてのエラー クラスにわたる、フィールドのエラーの合計数です。「エラーの合計 = 誤った予測 + 見逃した予測 + 過剰な予測」で計算されます。
• 予測の合計 — フィールドの予測値の合計数です。「予測の合計 = 正しい値 + 正しい欠落予測 + 誤った予測」で計算されます。
• 誤った予測 — 抽出された値がアノテーションと一致しない予測の数です。予測、および存在しないとしてマーク済みのアノテーション済みの値は除外されます。
• 過剰な予測 — モデルが抽出すべきではなかったか、対応するアノテーションまたは存在しないとしてマーク済みのアノテーションがなかった予測値の数です。
• 見逃した予測 — モデルが抽出に失敗した、アノテーション済みの値の数です。
• 正しい値 — アノテーションと完全に一致する予測値の数です。
• 正しい欠落予測 — 値が欠落していることをモデルが正しく予測したインスタンスの数です。

注釈​

• アノテーションの合計 — アノテーションの合計数です。存在しないとしてマーク済みの値が含まれます。「アノテーションの合計 = アノテーション済みの値 + 存在しないとしてマーク済みのアノテーション済みの値」で計算されます。
• アノテーション済みの値 — アノテーション済みのフィールド値の合計数です。存在しないとしてマーク済みの値は除外されます。
• 「存在しない」とアノテーション済み — フィールドが明示的に「存在しない」とラベル付けされた合計回数です。

ドキュメント レベルのメトリック​

• エラーを含むドキュメント — フィールドに少なくとも 1 つのエラーがあるドキュメントの合計です。
• アノテーション済みのドキュメント — フィールドに少なくとも 1 つのアノテーション済みのフィールド値があるドキュメントの合計です。
• % のドキュメントにエラーあり — フィールドに対して少なくとも 1 つのエラーが含まれるアノテーション済みのドキュメントの割合です。「エラーを含むドキュメント / アノテーション済みのドキュメント」で計算されます。

シナリオ例​

シナリオ 1: F1 が低い + 適合率は低いが再現率は中程度か高い​

確認できる状況​

一般的な意味​

• モデルはフィールドの値を抽出していますが、見つかることを予期していた数よりも多くの値が予測されています。
• 一般的な根本原因は次のとおりです。
  • フィールドの指示がおおまかすぎるか、あいまいすぎる。たとえば、フィールドの指示が「金額をキャプチャしてください」であるにもかかわらず、どの金額かが指定されていない。
  • ドキュメントに類似する値が複数あり、互いに混同されている可能性がある (例: 小計と合計、出荷先と請求先)。

次のステップ​

シナリオ 2: 見逃した予測が多く (再現率が低い)、適合率は中程度か高い​

確認できる状況​

• 再現率は低く、適合率は中程度か高い (F1 は通常、低または中程度)。
• 見逃した予測が多く、ほとんどの場合は誤った予測や過剰な予測よりも多い。

一般的な意味​

• 存在する値の抽出にモデルが失敗しています。
• 一般的な根本原因は次のとおりです。
  • フィールドの指示が細かすぎる。つまり、例が過度に制約されているか、ラベルの要件が具体的すぎる。
  • 値が複数の形式 (日付や ID など) で表示され、指示でそれらの別表現がカバーされていない。

次のステップ​

• 「見逃した予測 + アノテーション済みの値」を使用して、これが再現率の問題であること、つまり値が存在するにもかかわらず見つからないことを確認します。アノテーション済みの値を調べて、フィールドに妥当な数のアノテーション済みのデータ ポイントがあることを確認します。また、見逃した予測を調べて、モデルが値を誤って予測しているのではなく値を見つけるのに苦労していることを確認します。
• 指示を拡大して、条件に合う別表現を含めます。代替ラベルや類義語、形式の複数のパターン、場所のヒント (「申請者の詳細の近く」「借り手のセクションの下」など) を含めます。

シナリオ 3: エラー率は高いが、エラーを含むドキュメントは少ない (エラーが少数のドキュメントに集中している)​

確認できる状況​

• エラー率が高いか、エラーの合計が多い。
• エラーを含むドキュメントは、アノテーション済みのドキュメントと比べて少ない。
• 1 つのフィールドに問題があるように見えても、失敗しているのはドキュメントの一部のサブセットだけであることが多い。

一般的な意味​

• エラーは、フィールドの全体的な動作ではなく、外れ値のドキュメントによって引き起こされています。
• 一般的な根本原因は次のとおりです。
  • 特定のドキュメントや形式の動作が他とは異なっている。
  • 少数のドキュメントに OCR や品質の問題がある (ぼやけたスキャン、傾き、手書きのオーバーレイなど)。
  • フィールドはほとんどのドキュメントに存在しているが、一部で通常とは異なる形式 (複数行と単一行など) になっている。

次のステップ​

• エラーを含むドキュメントとアノテーション済みのドキュメント、および必要に応じて「% のドキュメントにエラーあり」を比較して、集中度を確認します。
• [構築] ページでドキュメントをエラー率で並べ替えます。エラー率が最も高いドキュメントを調べ、フィールドのパフォーマンスが特定のサブセットで低いかどうかを特定します。

シナリオ 4: アノテーションがほとんどないバージョン間でパフォーマンスが大きく変動する​

確認できる状況​

• モデル バージョン間で F1 またはエラー率に大きな違いがあるが (増加または減少)、アノテーション済みの値が少ないか、またはアノテーション済みのドキュメントが少ないか、あるいはその両方である。

一般的な意味​

• サンプル サイズが小さいため、フィールドのメトリックがまだ安定していません。
• 一般的な根本原因は次のとおりです。
  • 例が少なすぎる (1 個から 2 個のドキュメントでは率が大きく変わる可能性がある)。
  • フィールドがほとんど存在していない。つまり、欠落しているケースが多く、実際の値がほとんどない。
  • 少数の難解なドキュメントがメトリックに大きく影響している。

次のステップ​

• アノテーション済みの値、アノテーション済みのドキュメント、および「存在しない」とアノテーション済みを調べて、カバレッジの低さを検証します。
• カバレッジが拡大するまで、メトリックは方向性を示すものとして捉え、確定的なものとして捉えないようにします。
• フィールド専用のラベル付けされたデータをさらに追加します。つまり、フィールドが存在するドキュメントに優先的に対応し、一連の多様なサンプルや別表現を含めます。
• バージョンの比較は、十分なカバレッジが確保されて可変性に起因するノイズが減った後にのみ使用します。

フィルター処理と並べ替えを行う​

• アノテーション済みの値 < 10
• フィールドの F1 スコア < 50
• 次のフィールドの F1 スコア: 50–70

表示の設定​

1. [次のスコアの差を表示: バージョン] トグルをオンにします。

2. [次のスコアの差を表示: バージョン] ドロップダウンを選択します。

   

3. [表示の設定] を選択します。

4. [バージョンの変更 - 表示の設定] ポップアップで、[すべてのメトリック] を選択します。利用可能なオプションは次のとおりです。

   • パフォーマンス メトリックのみ — パフォーマンス メトリックは、モデルの予測をアノテーションと比較して決定されるメトリックです。F1 スコアやエラー率などがあります。
   • すべてのメトリック
   • モデルの可変性の変化を表示 — 既定では、現在のバージョンの可変性の範囲内に収まる変化は重大なものとは見なされず、表示されません。有効化すると、それらの変化が表示されます。選択すると、次のオプションが利用可能になります。
     • すべての変化の色を表示 — 既定では、可変性の範囲内の変化は灰色で表示されます。有効化すると、すべての変更が緑または赤で表示されます。

5. [保存] を選択します。

モデルのバージョンを選択する​

スコアの違いを使用して異なるモデル バージョンを比較する​

動作の仕組み​

• [評価] では、別のモデル バージョンとのスコアの違いを参照できます。
• プラスの変化またはマイナスの変化により、改善か退化かが強調されます。既定では、[評価] は、最も最近作成されたモデル バージョンを基準にして、以前のモデル バージョンと比較します。

モデルの可変性とスコアの違いへの影響について​

• パフォーマンスの変化に意味があるかどうかを理解する
• メトリックの小さな変動を過大解釈しないようにする

• 2 つのモデル バージョンを比較する場合、メトリックの可変性の範囲内に収まるスコアの違いは表示されません。
• スコアの違いをすべて表示するか、メトリックの可変性以上の違いのみを表示するかを選択できます。

1. [次のスコアの差を表示: バージョン] トグルをオンにします。
2. [次のスコアの差を表示: バージョン] ドロップダウンを選択します。
3. [表示の設定] を選択します。
4. ポップアップ ウィンドウで、[モデルの可変性の変化を表示] を選択します。利用可能なオプションは次のとおりです。
   • パフォーマンス メトリックのみ — パフォーマンス メトリックは、モデルの予測をアノテーションと比較して決定されるメトリックです。F1 スコアやエラー率などがあります。
   • すべてのメトリック
   • モデルの可変性の変化を表示 — 既定では、現在のバージョンの可変性の範囲内に収まる変化は重大なものとは見なされず、表示されません。有効化すると、それらの変化が表示されます。選択すると、次のオプションが利用可能になります。
     • すべての変化の色を表示 — 既定では、可変性の範囲内の変化は灰色で表示されます。有効化すると、すべての変更が緑または赤で表示されます。
5. スコアのすべての違いを緑または赤で表示する場合は、必要に応じて、[すべての変化の色を表示] を選択します。既定では、可変性の範囲内の違いは灰色で表示されます。
6. [保存] を選択します。

モデル バージョンにスターを付ける​

1. [モデルのバージョン] ドロップダウン メニューを展開して、利用可能なすべてのバージョンのリストを表示します。
2. 常にリストの先頭とダッシュボードに表示するモデル バージョンの横にある星型のアイコンを選択します。

評価データをエクスポートする​

• オフライン分析
• カスタム フィルター処理
• 利害関係者との結果の共有

1. [評価] ページに移動します。
2. 縦三点リーダー ボタンを選択します。
3. [Excel ファイルとしてエクスポート] を選択します。