p値ハッキングと再現性の危機

概要

p値ハッキング（p-hacking）とは、p値が有意水準（多くの分野で0.05）を下回るまで、分析のやり方をあれこれ変え続ける行為を指します。外れ値の除外基準を後から変える、被験者を少しずつ追加してはp値を確認する、多数の変数の組み合わせを試して有意になったものだけ報告する — 一つひとつは「データをよく見る」努力に見えますが、積み重なると「偶然のまぐれ当たり」を「発見」として報告することになります。

深刻なのは、これが悪意ある捏造とは違い、善意の研究者が気付かないまま行ってしまう点です。分析には「外れ値をどう扱うか」「どの変数で調整するか」といった自由度が無数にあり、結果を見ながら選択を重ねれば、真実がなくても有意な結果はほぼ必ず作れてしまいます。この構造は「分岐する小道の庭」とも呼ばれます。

そして2010年代、心理学を皮切りに「過去の有名な研究を同じ手順で追試したら、大半が再現できなかった」という報告が相次ぎました。心理学の主要研究100件を追試した大規模プロジェクトでは、再現できたのは4割弱に留まりました。p値ハッキングと出版バイアスがその主因と考えられ、この事態は「再現性の危機」と呼ばれ、科学の方法論そのものの見直しを迫ることになりました。

なぜ生まれたか

根本の課題は、「p値が0.05未満なら有意」という単純な基準が、論文出版の事実上の合格ラインになってしまったことです。学術誌は有意な結果を優先的に掲載し（出版バイアス）、研究者の業績は論文数で測られる。この仕組みの下では、有意な結果を「出す」強い動機が生まれます。一方でp値の性質上、真実がまったくない状況でも20回に1回は偶然0.05を切ります。分析の自由度を使って多数の試行を重ねれば、この「20回に1回」を意図せず引き当てられる — 多重比較の問題が、報告されない形で日常の分析に埋め込まれていたのです。

2011年頃、この構造を白日の下に晒す論文が現れます。「もっともらしい分析の自由度を使えば、『ビートルズの曲を聴くと実年齢が若くなる』という明らかに偽の仮説でも有意にできる」ことを実演して見せたのです。同時期に有名研究の追試失敗が続き、問題は個人の不正ではなく研究と出版の仕組み全体にあるという認識が広がりました。その解決策として、分析計画を事前に登録する「事前登録」、結果を見る前に掲載可否を決める「登録報告」といった制度が生まれ、統計教育でもp値の解釈の見直しが進むことになりました。

詳細

分析の自由度 — 有意はいくらでも作れる

p値ハッキングの中核は「研究者の自由度」です。データ収集をいつ打ち切るか、外れ値をどの基準で除くか、従属変数をどれにするか、どの共変量で調整するか、どのサブグループを見るか。それぞれの選択肢が2〜3個ずつあるだけで、分析経路は容易に数十〜数百通りに膨れ上がります。各経路が偶然5%で有意になるなら、経路をたどり直すたびに「どこかで有意」が出る確率は急上昇します。これは多重比較そのものですが、試行の大半が報告されないため、読者には補正のしようがありません。

代表的な手口には名前が付いています。有意になるまでサンプルを追加し続ける「オプショナル・ストッピング」、結果を見てから「最初からその仮説だった」ことにする「HARKing」（Hypothesizing After the Results are Known）、多数の指標を測って有意なものだけ報告する「選択的報告」などです。いずれも共通するのは、「結果を見てから決めた選択」を「最初から決めていた選択」のように報告する点です。

出版バイアスとの共犯関係

p値ハッキングが個々の研究の問題だとすれば、出版バイアスは分野全体の問題です。有意な結果は掲載され、有意でない結果はお蔵入りになる。すると同じ仮説を10チームが検証して9チームが「効果なし」でも、偶然有意になった1チームの結果だけが文献に残ります。文献だけを見る後続の研究者には、効果が実在するようにしか見えません。これは生存者バイアスと同じ構造で、「生き残った研究」だけから全体を推論する誤りです。メタ分析の分野では、掲載された研究のp値の分布を調べて（0.05のすぐ下に不自然な山があるかどうかで）ハッキングや出版バイアスの痕跡を検出するp-curve分析という手法も開発されています。

なぜ「有意なのに再現しない」のか

有意な結果が再現に失敗する仕組みには、検定力の低さも絡んでいます。サンプルサイズが小さく検定力が低い研究では、真の効果を検出できる確率がそもそも低いうえ、偶然有意になった場合の推定効果は実際より大きく出がちです（勝者の呪い）。低検定力の研究×分析の自由度×出版バイアスという組み合わせは、「文献上は大きな効果があるのに、大規模な追試ではほぼゼロ」という再現性の危機の典型的なパターンを量産しました。つまり危機の本質は、p値という道具の欠陥だけでなく、仮説検定の運用が「探索」と「確証」の区別を失っていたことにあります。

処方箋 — 事前登録・効果量・透明性

対策の柱は、選択を「結果を見る前」に固定することです。事前登録（preregistration）では、仮説・サンプルサイズ・除外基準・分析手法を、データを見る前に公開データベースに登録します。さらに進んだ登録報告（Registered Report）では、学術誌が結果の出る前に研究計画だけを査読して掲載を約束するため、「有意でないとお蔵入り」という出版バイアスの動機そのものが消えます。探索的な分析を禁じるのではなく、「これは探索だ」と明示し、確証は新しいデータで行う、という区別の回復が要点です。

報告の仕方も変わりつつあります。「有意か否か」の二値ではなく、効果量と信頼区間で「どのくらいの大きさの効果が、どの程度の精度で推定されたか」を示すこと。サンプルサイズを検定力分析で事前に設計すること。データとコードを公開して第三者が検証できるようにすること。なお、この問題は機械学習にもそのまま輸出されており、テストデータの成績を見ながらモデルを選び直す行為はデータリークの一形態として、p値ハッキングと同じ構造の「良すぎる数字」を生みます。分野を問わず、「結果を見てから決めたことを、決めてから見たことにしない」が再現性の第一原則です。