第一種・第二種の過誤
Type I and Type II Errors ・ だいいっしゅだいにしゅのかご
検定が犯しうる二種類の間違い。偽陽性と偽陰性のトレードオフ
✦ 30秒で試す — 航海冤罪を減らすと見逃しが増える。両方減らす手はあるか線を厳しくして冤罪を1%に減らすと、見逃しは？予想してみる概要
第一種・第二種の過誤は、仮説検定が構造的に犯しうる二種類の間違いを指す言葉です。第一種の過誤（Type I error）は「本当は差がないのに、差があると判定してしまう」誤り、いわゆる偽陽性です。第二種の過誤（Type II error）は「本当は差があるのに、差がないと見逃してしまう」誤り、いわゆる偽陰性です。健康診断でたとえるなら、健康な人に「病気の疑いあり」と告げるのが第一種、病気の人を「異常なし」と通してしまうのが第二種にあたります。
検定は限られた標本から母集団について判断を下す手続きなので、この二つの誤りを完全にゼロにすることは原理的にできません。重要なのは「誤りをなくす」ことではなく、「それぞれの誤りが起きる確率をあらかじめ設計し、コントロールする」ことです。第一種の過誤の確率は α（有意水準）、第二種の過誤の確率は β という記号で表され、この二つは片方を減らせばもう片方が増えるトレードオフの関係にあります。
このトレードオフの理解は、p値や有意水準を正しく使うための土台であり、さらに検出力とサンプルサイズの設計といった実験計画の話へつながっていく、推測統計の要の概念です。
なぜ生まれたか
初期の仮説検定は、フィッシャーが体系化した「帰無仮説とp値」の枠組みが中心で、そこには「差がないのに差があると言ってしまう」誤りしか登場しませんでした。しかし1920〜30年代、ネイマンとピアソンは「検定とは仮説を受け入れるか棄却するかの意思決定である」と捉え直したとき、誤りには対称な二種類があることに気づきます。棄却すべきでない仮説を棄却する誤りと、棄却すべき仮説を棄却しない誤り — 前者だけを気にしていては、検定の性能を語れないのです。
彼らがこの区別を導入した動機は実用的でした。工場の抜き取り検査を考えると、「良品ロットを不良と誤判定して廃棄する損失」と「不良ロットを見逃して出荷する損失」は別物で、どちらをどこまで許容するかは状況によって変わります。二種類の誤り確率 α と β を明示的に定義したことで、「α を一定以下に抑えたうえで β を最小にする検定が最良である」という検定の設計理論（ネイマン・ピアソンの補題）が可能になり、検定は「結果を眺める道具」から「誤り率を事前に設計できる意思決定手続き」へと進化しました。
詳細
真実 × 判定の4マス
検定の結末は「真実（帰無仮説が正しいか否か）」と「判定（棄却するか否か）」の組み合わせで4通りに整理できます。このうち対角の2マスが正解、残り2マスが二種類の過誤です。
第一種の過誤の確率 α は、検定を行う人が自分で決めます。有意水準を5%に設定するとは、「帰無仮説が正しいときに、それでも偶然のばらつきで棄却してしまう確率を5%まで許容する」という宣言です。p値が α を下回ったら棄却する、というルールがこの許容度を実現します。一方 β は直接には設定できず、標本サイズ・効果の大きさ・α の設定から結果的に決まります。
なぜトレードオフになるのか
帰無仮説が正しい世界と、本当に差がある世界のそれぞれで、検定統計量（データから計算する t 値や z 値）がどんな値をとりうるかを分布として描くと、二種類の過誤は「しきい値で切り取られた面積」として見えます。しきい値より外側に出た帰無分布の裾が α、しきい値の内側に残った対立分布の部分が β です。α を小さくするとは、しきい値を外側へ動かして棄却のハードルを上げることです。「めったなことでは差ありと言わない」慎重な検定は偽陽性を減らせますが、本物の差もハードルを越えにくくなるので見逃し（β）が増えます。逆に α を緩めれば見逃しは減りますが、偶然を差と誤認する確率が上がります。
しきい値をどこに置いても、同じ2つの分布のもとでは α と β は綱引きの関係にあります。両方を同時に下げる唯一の方法は、2つの分布を引き離すことです。それには、効果そのものが大きいこと（効果量）か、標本を増やして分布の幅を細くすること（相対的に分布が遠ざかる）が必要で、この設計の話は検出力とサンプルサイズで扱います。
金色の縦線が判定のしきい値です。右へ動かして「めったに有罪にしない」慎重な裁判にすると、赤い冤罪（α）と緑の見逃し（β）はどう変わるでしょう。
上段: 本当は差がない（無実）ときの検定統計量の分布。下段: 本当は差がある（有罪）ときの分布。縦線より右なら「有罪（有意）」と判定
どちらの過誤を重く見るべきかは文脈次第です。新薬の有効性を主張する場面では、効かない薬を「効く」と世に出す第一種の過誤が重大なので α を厳しくします。逆に感染症のスクリーニング検査では、感染者を見逃す第二種の過誤のほうが被害が大きいため、偽陽性の増加を受け入れてでも見逃しを減らす設計にします（陽性者には後で精密検査をすればよい、という二段構えです）。α = 5% は慣習にすぎず、誤りのコスト構造から水準を選ぶのが本来の姿です。同じ綱引きは機械学習の分類器にも現れます。「スパムと判定するスコアのしきい値」を動かすと偽陽性と偽陰性が入れ替わり、そのすべてのしきい値での成績を1本の曲線にまとめたものがROC曲線です。
「有意でない」は「差がない」ではない
第二種の過誤の存在は、検定結果の読み方に重要な注意を与えます。棄却されなかったとき言えるのは「差があるとは言えなかった」だけで、「差がないことが示された」ではありません。標本が小さければ β は容易に50%を超え、本物の差の半分以上を見逃します。つまり「有意差なし」の多くは、差の不在の証拠ではなく検定の力不足の可能性があるのです。「差がない（十分に小さい）」ことを主張したいなら、許容できる差の範囲をあらかじめ決めて、その範囲に収まることを示す同等性検定のように、問いに合った手続きが別に必要です。
条件付き確率としての整理
α と β は条件付き確率として読むと正確に理解できます。α は「帰無仮説が正しいという条件のもとで棄却する確率」、β は「対立仮説が正しいという条件のもとで棄却しない確率」です。よくある誤解は、これを逆向きの条件付き確率 —「棄却されたとき、帰無仮説が正しい確率」— と混同することです。向きを入れ替えるにはベイズの定理が必要で、答えは「検定する仮説のうち本物の効果がどれくらいの割合で含まれるか」（事前の見込み）に強く依存します。
たとえば、検定する仮説の10%だけが本物で、α = 5%・検出力80%だとします。1000件検定すると、本物100件のうち80件が有意になり、偽物900件のうち45件も有意になります。有意になった125件のうち偽物は45件、つまり36%です。α は5%なのに「有意な結果が偽物である割合」はその7倍にもなりうる——本物の効果が稀な分野で大量に検定を行う状況ほどこの差は開き、多重比較の問題や再現性の議論へ直結します。
試問
検定を裁判にたとえた図です。上段は本当は差がない（無実の）世界、下段は本当は差がある（有罪の）世界での検定統計量の分布で、縦線（しきい値）より右なら「有意＝有罪」と判定します。無実を有罪にする誤りが冤罪 α（第一種の過誤）、有罪を見逃す誤りが見逃し β（第二種の過誤）です。動かせるのはしきい値の縦線と、差がある世界の山の位置で、はじめは α = 5%、2つの山の距離は 2.2 です。
金色の縦線が判定のしきい値です。右へ動かして「めったに有罪にしない」慎重な裁判にすると、赤い冤罪（α）と緑の見逃し（β）はどう変わるでしょう。
上段: 本当は差がない（無実）ときの検定統計量の分布。下段: 本当は差がある（有罪）ときの分布。縦線より右なら「有罪（有意）」と判定