効果量

概要

効果量（effect size）とは、「差があるかどうか」ではなく「差がどれくらい大きいか」を測る指標です。仮説検定とp値が答えるのは「観測された差は偶然で説明できるか」という問いだけで、差の大きさそのものは教えてくれません。効果量はこの欠落を埋め、「新しい教授法でテストの点は標準偏差の0.4個分上がった」「この薬で回復率が12ポイント改善した」のように、実質的な意味を持つ量として結果を表現します。

代表的な効果量に、2群の平均の差を標準偏差で割った Cohen の d、変数間の関連の強さを表す相関係数 r、割合の比較に使うリスク比やオッズ比などがあります。いずれも共通するのは、標本サイズに（系統的には）依存しない量だということです。p値は同じ差でも標本を増やせばいくらでも小さくなりますが、効果量は「母集団にある差の大きさ」の推定値として安定した意味を持ちます。

現在では多くの学術誌が、検定結果に効果量と信頼区間を添えることを求めています。効果量は、統計的有意性と実質的重要性を切り分けて考えるための、p値の必須の相棒です。

なぜ生まれたか

仮説検定が普及するにつれ、「p値だけの報告」の弊害が目立つようになりました。p値は差の大きさと標本サイズの合成物なので、巨大な標本ではどうでもいい微小な差でも「高度に有意」になり、逆に小さな標本では重要な差でも「有意でない」と切り捨てられます。血圧を平均1mmHgだけ下げる薬も、10万人で試験すれば p < 0.001 になる — この「統計的に有意だが臨床的に無意味」という現象を、p値は区別できないのです。

この問題に体系的な答えを与えたのが心理学者コーエンでした。彼は1960〜80年代に、標準化された効果量という考え方を整備し、Cohen の d をはじめとする指標群と「小・中・大」の目安を提案しました。効果量の標準化にはもう一つ大きな動機があります。単位の違う研究同士を比べられることです。テストの点数で測った研究とパズルの正答数で測った研究も、標準偏差を物差しにすれば同じ土俵で比較・統合できます。複数の研究結果を統合するメタアナリシスは、効果量という共通通貨があって初めて成立した方法論であり、検出力とサンプルサイズの設計にも効果量の見積もりが不可欠です。

詳細

Cohen の d — 標準偏差を物差しにする

最も広く使われる効果量が Cohen の d です。2群の平均の差を、群内の標準偏差で割った値で、「差が標準偏差の何個分か」を表します。発想は標準化のzスコアと同じで、元の単位（点、cm、円）を消して、データ自身のばらつきを単位にするのが要点です。d = 0.2 が小、0.5 が中、0.8 が大というコーエンの目安がよく引かれますが、これは分野の事情を知らないときの最後の手段であり、本来はその分野で意味のある大きさと比べて解釈すべきものです。

d は分布の重なりとしても読めます。d = 0.2 では2群の分布は9割方重なっており、処置群からランダムに1人選んだとき対照群の1人を上回る確率は約56%（偶然の50%とほぼ変わりません）。d = 0.8 でもこの確率は約71%で、「大きい効果」ですら個人レベルでは逆転が3割起きます。効果量を重なりで捉えると、「有意な差」への過大な期待を適切に冷ませます。

効果量の主な系統

効果量には目的別にいくつかの系統があります。平均差の系統が Cohen の d やその小標本補正版の Hedges の g。関連の強さの系統が相関係数 r や、分散分析で「要因が全変動の何%を説明するか」を表すイータ2乗、回帰分析の決定係数 R²。割合の系統がリスク差・リスク比・オッズ比で、医学研究の定番です。さらに「1人の患者を救うために何人治療する必要があるか」（NNT）のように、意思決定に直結する形へ翻訳した指標もあります。どれを使うかはデータの型と伝えたい相手で選びますが、r と d は相互に換算でき、メタアナリシスではしばしば一方に揃えて統合します。

p値との正しい組み合わせ方

p値と効果量は競合ではなく分業です。p値（と検定）は「この差は偶然のノイズか」を、効果量は「差は行動に値する大きさか」を担当します。実務では4通りの組み合わせを区別してください。有意かつ効果量大なら行動の根拠になります。有意だが効果量が微小なら「標本が大きいので検出できたが、実質的意味は乏しい」可能性を疑います。有意でないが効果量が中程度なら、検出力不足の疑いがあり追加データを検討します。有意でなく効果量も微小なら、意味のある効果は考えにくいという判断に近づきます。さらに効果量には信頼区間を添えるのが定石です。点推定の d = 0.5 でも、区間が 0.1〜0.9 と広ければ「大きさはまだよく分からない」ことが正直に伝わります。

実務での落とし穴

第一に、標本の効果量は真の効果量の推定値にすぎず、小標本では大きくぶれます。特に「有意になった研究だけ」を集めると効果量は系統的に過大評価されます（出版バイアス）。第二に、標準化効果量は標準偏差に依存するため、測定の precision や対象集団の均質さが変わると、同じ現象でも d の値が変わります。異なる集団間の d の比較は見かけほど単純ではありません。第三に、実験前の検出力とサンプルサイズ設計で使う効果量は「検出したい最小の意味ある差」であって、「出てほしい差」や「過去の誇張された推定値」ではないことです。ここを楽観的に見積もると、設計全体が検出力不足に傾きます。