効果量
Effect Size ・ こうかりょう
有意かどうかではなく差そのものの大きさを測る、p値を補う指標
✦ 30秒で試す — 航海ほとんど差がないのに、「偶然ではない」と言い切れてしまう53%のまま比べる人数を増やすと、p値は？予想してみる概要
効果量（effect size）とは、「差があるかどうか」ではなく「差がどれくらい大きいか」を測る指標です。仮説検定とp値が答えるのは「観測された差は偶然で説明できるか」という問いだけで、差の大きさそのものは教えてくれません。効果量はこの欠落を埋め、「新しい教授法でテストの点は標準偏差の0.4個分上がった」「この薬で回復率が12ポイント改善した」のように、実質的な意味を持つ量として結果を表現します。
代表的な効果量に、2群の平均の差を標準偏差で割った Cohen の d、変数間の関連の強さを表す相関係数 r、割合の比較に使うリスク比やオッズ比などがあります。いずれも共通するのは、標本サイズに（系統的には）依存しない量だということです。p値は同じ差でも標本を増やせばいくらでも小さくなりますが、効果量は「母集団にある差の大きさ」の推定値として安定した意味を持ちます。
現在では多くの学術誌が、検定結果に効果量と信頼区間を添えることを求めています。効果量は、統計的有意性と実質的重要性を切り分けて考えるための、p値の必須の相棒です。
なぜ生まれたか
仮説検定が普及するにつれ、「p値だけの報告」の弊害が目立つようになりました。p値は差の大きさと標本サイズの合成物なので、巨大な標本ではどうでもいい微小な差でも「高度に有意」になり、逆に小さな標本では重要な差でも「有意でない」と切り捨てられます。血圧を平均1mmHgだけ下げる薬も、10万人で試験すれば p < 0.001 になる — この「統計的に有意だが臨床的に無意味」という現象を、p値は区別できないのです。
この問題に体系的な答えを与えたのが心理学者コーエンでした。彼は1960〜80年代に、標準化された効果量という考え方を整備し、Cohen の d をはじめとする指標群と「小・中・大」の目安を提案しました。効果量の標準化にはもう一つ大きな動機があります。単位の違う研究同士を比べられることです。テストの点数で測った研究とパズルの正答数で測った研究も、標準偏差を物差しにすれば同じ土俵で比較・統合できます。複数の研究結果を統合するメタアナリシスは、効果量という共通通貨があって初めて成立した方法論であり、検出力とサンプルサイズの設計にも効果量の見積もりが不可欠です。
詳細
Cohen の d — 標準偏差を物差しにする
最も広く使われる効果量が Cohen の d です。2群の平均の差を、群内の標準偏差（2群をまとめた標準偏差）で割った値で、「差が標準偏差の何個分か」を表します。t検定の t 値と形が似ていますが、t が差を「標準誤差」で割るのに対し、d は「標準偏差」で割る点が決定的に違います。標準誤差は人数が増えるほど小さくなるので t は人数とともにいくらでも大きくなりますが、標準偏差は人数によらないので d は人数と無関係です（各群 n 人なら d ≈ t × √(2/n) の関係があります）。発想は標準化のzスコアと同じで、元の単位（点、cm、円）を消して、データ自身のばらつきを単位にするのが要点です。d = 0.2 が小、0.5 が中、0.8 が大というコーエンの目安がよく引かれますが、これは分野の事情を知らないときの最後の手段であり、本来はその分野で意味のある大きさと比べて解釈すべきものです。
d は分布の重なりとしても読めます。d = 0.2 では2群の分布の92%が重なっており、処置群からランダムに1人選んだとき対照群の1人を上回る確率は約56%（偶然の50%とほぼ変わりません）。d = 0.8 でも重なりは69%、上回る確率は約71%で、「大きい効果」ですら個人レベルでは3割の組で逆転が起きます。この「上回る確率」は共通言語効果量（probability of superiority）と呼ばれ、正規分布なら Φ(d/√2) で計算できます。効果量を重なりで捉えると、「有意な差」への過大な期待を適切に冷ませます。
下の部品で処置群の山をつかんで動かすと、d・重なり・上回る確率が連動します。「100組くらべる」で実際に1組ずつ勝ち負けを数えたり、「小さな差 d=0.05 を大人数で」で、ほとんど重なった分布でも p値 が極小になることを確かめてみてください。
緑の山（処置群）のてっぺんの丸をつかんで左右に動かしてください。d = 0.8 は「大きい効果」の目安ですが、それでも山はかなり重なっています。「100組くらべる」で、処置群の人が本当に勝つのか数えてみましょう。
白 = 対照群、緑 = 処置群（どちらも標準偏差1）。下の2列は各群から代表的に選んだ20人。線で結ばれた2人を比べて、上回った側の箱へ粒が飛ぶ
効果量の主な系統
効果量には目的別にいくつかの系統があります。平均差の系統が Cohen の d やその小標本補正版の Hedges の g。関連の強さの系統が相関係数 r や、分散分析で「要因が全変動の何%を説明するか」を表すイータ2乗、回帰分析の決定係数 R²。割合の系統がリスク差・リスク比・オッズ比で、医学研究の定番です。さらに「1人の患者を救うために何人治療する必要があるか」（NNT）のように、意思決定に直結する形へ翻訳した指標もあります。どれを使うかはデータの型と伝えたい相手で選びますが、r と d は相互に換算でき、メタアナリシスではしばしば一方に揃えて統合します。
p値との正しい組み合わせ方
p値と効果量は競合ではなく分業です。p値（と検定）は「この差は偶然のノイズか」を、効果量は「差は行動に値する大きさか」を担当します。実務では4通りの組み合わせを区別してください。有意かつ効果量大なら行動の根拠になります。有意だが効果量が微小なら「標本が大きいので検出できたが、実質的意味は乏しい」可能性を疑います。有意でないが効果量が中程度なら、検出力不足の疑いがあり追加データを検討します。有意でなく効果量も微小なら、意味のある効果は考えにくいという判断に近づきます。さらに効果量には信頼区間を添えるのが定石です。点推定の d = 0.5 でも、区間が 0.1〜0.9 と広ければ「大きさはまだよく分からない」ことが正直に伝わります。
実務での落とし穴
第一に、標本の効果量は真の効果量の推定値にすぎず、小標本では大きくぶれます。特に「有意になった研究だけ」を集めると効果量は系統的に過大評価されます（出版バイアス）。有意になるまで解析を変えるp値ハッキングも、同じ方向に効果量を膨らませます。第二に、標準化効果量は標準偏差に依存するため、測定の精度（誤差の大きさ）や対象集団の均質さが変わると、同じ現象でも d の値が変わります。たとえば同じ教授法でも、学力の幅が狭い進学校の生徒で測れば標準偏差が小さいぶん d は大きく出ます。異なる集団間の d の比較は見かけほど単純ではありません。第三に、実験前の検出力とサンプルサイズ設計で使う効果量は「検出したい最小の意味ある差」であって、「出てほしい差」や「過去の誇張された推定値」ではないことです。ここを楽観的に見積もると、設計全体が検出力不足に傾きます。
試問
白い山は対照群、緑の山は処置群の測定値の分布です（どちらも標準偏差 1）。緑の山をつかんで左右にずらすと、2群の差の大きさ（効果量 d）が変わります。「100組くらべる」で各群から1人ずつ引いてどちらが上回るかを数えられ、各群の人数 n を選ぶと、同じ差を n 人ずつで調べたときの p 値（差がゼロだとしたら、これほどの差が偶然出る確率）が計算されます。
緑の山（処置群）のてっぺんの丸をつかんで左右に動かしてください。d = 0.8 は「大きい効果」の目安ですが、それでも山はかなり重なっています。「100組くらべる」で、処置群の人が本当に勝つのか数えてみましょう。
白 = 対照群、緑 = 処置群（どちらも標準偏差1）。下の2列は各群から代表的に選んだ20人。線で結ばれた2人を比べて、上回った側の箱へ粒が飛ぶ