検出力とサンプルサイズ
Statistical Power and Sample Size ・ けんしゅつりょくとさんぷるさいず
本当にある差を検定が見つけられる確率と、それを保証する標本数の設計
概要
検出力（statistical power）とは、「母集団に本当に差があるとき、検定がそれを正しく見つけ出す確率」です。第一種・第二種の過誤の言葉で言えば、見逃しの確率 β の裏返しで、検出力 = 1 − β と定義されます。検出力80%の実験とは、本物の効果が存在する場合に5回中4回はそれを有意として検出できる設計、ということです。
検出力は主に4つの要素で決まります。効果の大きさ（効果量）、標本サイズ、有意水準 α、そしてデータのばらつきです。このうち実験者が自由に動かせるのは主に標本サイズなので、「目標の検出力（慣習的に80%）を達成するには何件のデータが必要か」を逆算する手続き — サンプルサイズ設計（検出力分析）— が実務の中心になります。
検出力を考えずに行った実験は、差を見つけられなかったとき「差がないのか、単に力不足だったのか」を区別できません。臨床試験やA/Bテストで実験前にサンプルサイズを固定するのは、この曖昧さを避け、結果を解釈可能にするためです。
なぜ生まれたか
フィッシャー流の検定には「偽陽性を α で抑える」仕組みはあっても、「本物の差をどれくらい拾えるか」を測る物差しがありませんでした。標本10件の実験も1万件の実験も、同じ「有意水準5%の検定」として扱われてしまう。しかし直感的には、小さすぎる実験は本物の効果すら検出できない「最初から負けが決まった勝負」です。ネイマンとピアソンが第二種の過誤 β を定義したことで、初めて「この検定は本物の差を確率 1 − β で検出できる」と検定の性能を定量的に語れるようになりました。
この概念を実務の道具に育てたのが心理学者コーエンです。彼は1960年代に心理学論文の検出力を調査し、典型的な研究の検出力が50%を下回る — コイン投げより当てにならない — ことを示して警鐘を鳴らしました。検出力不足の研究は、本物の効果を見逃すだけでなく、「たまたま有意になった誇張された効果」ばかりが出版される歪みも生みます。実験を始める前に効果量を見積もり、必要なサンプルサイズを計算するという現在の標準手続きは、この反省から定着したものです。
詳細
検出力を絵で見る
帰無仮説のもとでの検定統計量の分布と、対立仮説（本当に差がある世界）のもとでの分布を並べて描くと、α・β・検出力の関係が一枚で見えます。棄却のしきい値より右側について、帰無分布の裾の面積が α、対立分布の面積が検出力です。しきい値より左に残った対立分布の面積が、見逃し β になります。
この図から検出力を上げる方法がすべて読み取れます。二つの山を左右に引き離す（効果量が大きい）、山を細くする（標本を増やして標準誤差を小さくする、測定のばらつきを減らす）、しきい値を左に動かす（α を緩める）。α を緩める案は偽陽性の増加と引き換えなので通常は取らず、実務の主役は標本サイズになります。
下の部品で効果量・標本サイズ・α を実際に動かすと、二つの山と α・β・検出力の面積がどう連動するかを確かめられます。
検出力 86%。二つの山がほぼ分離し、本物の差なら86%の確率で棄却域に落ちます。80%の目安を達成しています。
サンプルサイズ設計の手順
実験前の検出力分析は、次の逆算として行います。まず検出したい最小の効果量を決めます（過去研究の値や、「これより小さい差ならビジネス上意味がない」という実質的な判断から）。次に α（通常5%）と目標検出力（通常80%、重要な試験では90%）を置き、この3つを満たす標本サイズを計算します。たとえば2群の平均を比べるt検定で中程度の効果量（Cohenのdで0.5）を検出力80%で捉えるには、1群あたりおよそ64件が必要です。効果量が半分（d=0.25）になると必要数は約4倍に跳ね上がります — 検出したい差が小さいほど、必要な標本は差の2乗に反比例して増えるのです。
計算した必要数が現実的でない場合、「とりあえず集められる分だけで実験する」のは悪手です。検出力不足の実験は結果がどちらに転んでも解釈できないため、測定のばらつきを減らす、より感度の高いデザイン（対応のある比較など）に変える、といった設計の見直しに戻るのが正しい対処です。
検出力不足がもたらす二重の害
検出力の低い研究の害は「見逃し」だけではありません。より陰湿なのは、有意になった結果の質が下がることです。検出力20%の実験で有意差が出たとすると、それは「本物の効果がたまたま強めに観測された幸運な標本」か「偽陽性」のどちらかです。いずれにせよ報告される効果量は真の値より誇張されがちで（勝者の呪いと呼ばれます）、追試すると効果が縮む・消えるという再現性の問題の主要因になっています。標本抽出を増やした追試や多重比較の管理と並んで、事前の検出力設計は再現可能な科学の基本装備です。
実務での注意点
事後検出力（observed power）— 得られたデータの効果量を使って「この実験の検出力は何%だった」と後から計算する値 — は、p値と一対一に対応するだけでほぼ情報を持たず、「有意でなかったが事後検出力も低いので差はあるかもしれない」という循環論法に使われがちです。検出力分析はあくまで実験前の設計道具と心得てください。また、A/Bテストで「有意になるまでデータを集め続けて、有意になった瞬間に止める」運用は α を大きく水増しします。サンプルサイズを事前に固定するか、逐次検定用に設計された手法を使うことが、検出力設計とセットで守るべき規律です。