検出力とサンプルサイズ
Statistical Power and Sample Size ・ けんしゅつりょくとさんぷるさいず
本当にある差を検定が見つけられる確率と、それを保証する標本数の設計
✦ 30秒で試す — 航海本当にある小さな差を、20人の実験はほとんど見逃す1群に何人いれば足りる？予想してみる概要
検出力（statistical power）とは、「母集団に本当に差があるとき、仮説検定がそれを正しく見つけ出す確率」です。第一種・第二種の過誤の言葉で言えば、見逃しの確率 β の裏返しで、検出力 = 1 − β と定義されます。検出力80%の実験とは、本物の効果が存在する場合に5回中4回はそれを有意として検出できる設計、ということです。裏を返せば、残りの5回に1回は、本物の効果があるのに「有意差なし」で終わります。
検出力は主に4つの要素で決まります。効果の大きさ（効果量）、標本サイズ、有意水準 α、そしてデータのばらつきです。このうち実験者が自由に動かせるのは主に標本サイズなので、「目標の検出力（慣習的に80%）を達成するには何件のデータが必要か」を逆算する手続き — サンプルサイズ設計（検出力分析）— が実務の中心になります。
検出力を考えずに行った実験は、差を見つけられなかったとき「差がないのか、単に力不足だったのか」を区別できません。臨床試験やA/Bテストで実験前にサンプルサイズを固定するのは、この曖昧さを避け、結果を解釈可能にするためです。
なぜ生まれたか
フィッシャー流の検定には「偽陽性を α で抑える」仕組みはあっても、「本物の差をどれくらい拾えるか」を測る物差しがありませんでした。p値が小さければ有意、大きければ保留——この手続きでは、標本10件の実験も1万件の実験も同じ「有意水準5%の検定」として扱われてしまいます。しかし直感的には、小さすぎる実験は本物の効果すら検出できない「最初から負けが決まった勝負」です。1930年代にネイマンとピアソンが第二種の過誤 β を定義したことで、初めて「この検定は本物の差を確率 1 − β で検出できる」と検定の性能を定量的に語れるようになりました。
この概念を実務の道具に育てたのが心理学者コーエンです。彼は1962年に心理学の論文を調べ、中程度の効果に対する典型的な研究の検出力が50%前後——コイン投げと大差ない——ことを示して警鐘を鳴らしました。さらに1969年の著書で効果量ごとの検出力表を整え、「実験の前に必要な人数を計算する」手順を誰でも使える形にしました。検出力不足の研究は、本物の効果を見逃すだけでなく、「たまたま有意になった誇張された効果」ばかりが出版される歪みも生みます。実験前に効果量を見積もり、必要なサンプルサイズを計算するという現在の標準手続きは、この反省から定着したものです。
詳細
検出力を絵で見る
帰無仮説のもとでの検定統計量の分布と、対立仮説（本当に差がある世界）のもとでの分布を並べて描くと、α・β・検出力の関係が一枚で見えます。棄却のしきい値の外側について、帰無分布の裾の面積が α、対立分布の面積が検出力です。しきい値の内側に残った対立分布の面積が、見逃し β になります。対立分布の山の位置は「真の差 ÷ 標準誤差」で決まり、2群比較なら効果量 d と1群の人数 n から d × √(n/2) と計算できます。
この図から検出力を上げる方法がすべて読み取れます。2つの山を左右に引き離す（効果量が大きい）、山を相対的に遠ざける（標本を増やして標準誤差を小さくする、測定のばらつきを減らす）、しきい値を内側に動かす（α を緩める）。α を緩める案は偽陽性の増加と引き換えなので通常は取らず、実務の主役は標本サイズになります。
サンプルサイズ設計の手順
実験前の検出力分析は、次の逆算として行います。まず検出したい最小の効果量を決めます（過去研究の値や、「これより小さい差ならビジネス上意味がない」という実質的な判断から）。次に α（通常5%）と目標検出力（通常80%、重要な試験では90%）を置き、この3つを満たす標本サイズを計算します。たとえば2群の平均を両側5%のt検定で比べるとき、中程度の効果量（Cohen の d で0.5）を検出力80%で捉えるには1群あたり64人、大きい効果（d=0.8）なら26人、小さい効果（d=0.2）なら約400人が必要です。必要数はおおよそ効果量の2乗に反比例するので、検出したい差が半分になれば必要な人数は約4倍に跳ね上がります。
下の部品は、本当に d の差がある世界で同じ実験を何度も繰り返します。1回ごとの p値 が粒になって落ち、0.05 より左に落ちた金色の粒の割合が検出力です。右の曲線上の丸をつかんで1群の人数を動かし、「d=0.5 なら64人で80%」を自分の手で確かめてみてください。
本当に差がある（効果量 d = 0.5）世界で、1群 20 人の実験を繰り返します。「20回 実験する」を押すと、1回ごとの p 値が粒になって落ちます。金の粒（p < 0.05）の割合が検出力です。
2群・両側・有意水準5%の t 検定。左: 実験ごとの p 値（対数目盛り）。右: 1群の人数 n と検出力の関係（理論曲線）
計算した必要数が現実的でない場合、「とりあえず集められる分だけで実験する」のは悪手です。検出力不足の実験は結果がどちらに転んでも解釈できないため、測定のばらつきを減らす、前後比較のような対応のあるデザインに変える、事前の共変量で調整するといった設計の見直しに戻るのが正しい対処です。どうしても人数が足りないなら、複数施設で協力して集める、あるいは「この実験は小さな効果を検出する力がない」と明記したうえで探索的な結果として扱う、という誠実さが求められます。
検出力不足がもたらす二重の害
検出力の低い研究の害は「見逃し」だけではありません。より陰湿なのは、有意になった結果の質が下がることです。検出力20%の実験で有意差が出たとすると、それは「本物の効果がたまたま強めに観測された幸運な標本」か「偽陽性」のどちらかです。有意になるには観測された差が大きく出る必要があるため、報告される効果量は真の値より系統的に誇張されます（勝者の呪い、あるいは効果の水増しと呼ばれます）。追試すると効果が縮む・消えるという再現性の問題の主要因の一つがこれで、十分な人数をそろえた追試、多重比較の管理と並んで、事前の検出力設計は再現可能な科学の基本装備です。
実務での注意点
事後検出力（observed power）— 得られたデータの効果量を使って「この実験の検出力は何%だった」と後から計算する値 — は、p値と一対一に対応するだけでほぼ新しい情報を持たず、「有意でなかったが事後検出力も低いので差はあるかもしれない」という循環論法に使われがちです。検出力分析はあくまで実験前の設計道具と心得てください。結果を解釈するときは、事後検出力ではなく効果量の信頼区間を見れば、「どのくらいの大きさの差までなら否定できたのか」が分かります。
また、A/Bテストで「有意になるまでデータを集め続けて、有意になった瞬間に止める」運用は α を大きく水増しします。サンプルサイズを事前に固定するか、途中で見ることを織り込んで設計された逐次検定を使うことが、検出力設計とセットで守るべき規律です。割合の指標（コンバージョン率など）では、ベースの率が低いほど同じ相対改善を検出するのに必要な人数が増える点にも注意が必要です。
試問
2つの群に本当に差がある世界で、1群 n 人の実験（有意水準 5% の t 検定）を何度も繰り返し、差を「有意」と見抜けた割合（検出率）を数えます。差の大きさは効果量 d（平均の差 ÷ 標準偏差。0.2 は小さい効果）で選べます。この試問では、人数と検出力の関係を示す理論の曲線を隠してあります。人数を決め、実験を繰り返して検出率を実測してください。
右の検出力曲線は隠してあります。効果量と1群の人数を決めて「200回 一気に」で実験し、検出率（金の粒の割合）を実測してください。測った点は右の図に残ります。
2群・両側・有意水準5%の t 検定。左: 実験ごとの p 値（対数目盛り）。右: 1群の人数 n と検出力の関係（理論曲線）