データ・DX
適合率・再現率とは？
適合率・再現率とは、分類モデルの予測の正しさと、見つけるべき対象をどれだけ拾えたかを見る指標です。
関連表記: 適合率 / 再現率 / Precision / Recall / プレシジョン / リコール
試験で問われるポイント
- 適合率は予測した陽性のうち正しい割合、再現率は実際の陽性を拾えた割合です。
- 医療、不正検知、審査などではどちらを重視するかが変わります。
- 正解率だけでは見えない性能差を確認できます。
具体例
不正検知では見逃しを減らすために再現率を重視することがあります。
混同しやすい点
- 適合率と再現率を同じ意味で使う。
- どの指標を重視するかを業務リスクと切り離して決める。
関連問題で復習
不正検知モデルで「陽性と予測したもののうち、実際に陽性だった割合」を示す評価指標はどれですか。
金融機関が不正取引の検知モデルを評価する際、見逃し(実際の不正を陽性と判定できないこと)のコストが極めて高いため重視すべき指標はどれですか。
解約予測モデルの評価で、実際に解約した50人のうち40人を解約と予測し、解約しなかった150人のうち20人を解約と誤判定した。解約者の取りこぼしを特に減らしたい場合にまず見る指標はどれか。
文章生成モデルの評価指標について、説明が適切なものを2つ選んでください。
陽性が少ない不均衡データで分類モデルを評価する。正解率が高いことだけを根拠に、陽性の見逃しも少ないと判断できない理由はどれか。
不正検知モデルの運用記録と直近データの点検結果が次のとおりだった。改善の優先順位として最も適切なものはどれか。 | 時点 | 適合率 | 再現率 | 入力分布の変化 | |---|---:|---:|---| | 導入時 | 0.86 | 0.82 | 基準 | | 6か月後 | 0.72 | 0.61 | 大きい | 直近のラベル監査では18%に誤りが見つかった。
分類モデルの基本的な評価について、最も適切なものはどれか。
ある二値分類で、実際の陽性は100件、陽性と予測したものは80件、そのうち実際に陽性だったものは60件だった。適合率、再現率、F1スコアの組合せとして正しいものはどれか。小数は四捨五入して小数第2位まで示す。