p値ハッキングと再現性の危機
p-hacking and the Replication Crisis ・ ぴーちはっきんぐとさいげんせいのきき
有意な結果が出るまで分析を弄る操作と、それが招いた科学の再現性問題
✦ 30秒で試す — 航海効果ゼロのデータからでも、「有意な発見」は掘り出せる「有意な発見」を報告できる組はいくつ？予想してみる概要
p値ハッキング（p-hacking）とは、p値が有意水準（多くの分野で0.05）を下回るまで、分析のやり方をあれこれ変え続ける行為を指します。外れ値の除外基準を後から変える、被験者を少しずつ追加してはp値を確認する、多数の変数の組み合わせを試して有意になったものだけ報告する — 一つひとつは「データをよく見る」努力に見えますが、積み重なると「偶然のまぐれ当たり」を「発見」として報告することになります。
深刻なのは、これが悪意ある捏造とは違い、善意の研究者が気付かないまま行ってしまう点です。分析には「外れ値をどう扱うか」「どの変数で調整するか」といった自由度が無数にあり、結果を見ながら選択を重ねれば、真実がなくても有意な結果はかなりの確率で作れてしまいます。統計学者のゲルマンとローケンは、この構造をボルヘスの小説になぞらえて「分岐する小道の庭」と呼びました。一つひとつの分岐では、もっともらしい理由で自然に道を選んでいるだけなので、本人には「たくさん試した」自覚すらないことが多いのです。
そして2010年代、心理学を皮切りに「過去の有名な研究を同じ手順で追試したら、大半が再現できなかった」という報告が相次ぎました。心理学の主要研究100件を追試した大規模プロジェクトでは、再現できたのは4割弱に留まりました。p値ハッキングと出版バイアスがその主因と考えられ、この事態は「再現性の危機」と呼ばれ、科学の方法論そのものの見直しを迫ることになりました。
なぜ生まれたか
根本の課題は、「p値が0.05未満なら有意」という単純な基準が、論文出版の事実上の合格ラインになってしまったことです。学術誌は有意な結果を優先的に掲載し（出版バイアス）、研究者の業績は論文数で測られる。この仕組みの下では、有意な結果を「出す」強い動機が生まれます。一方でp値の性質上、真実がまったくない状況でも20回に1回は偶然0.05を切ります（第一種の過誤）。分析の自由度を使って多数の試行を重ねれば、この「20回に1回」を意図せず引き当てられる — 多重比較の問題が、報告されない形で日常の分析に埋め込まれていたのです。
警告はそれ以前からありました。2005年にイオアニディスは「発表された研究結果の多くは誤りである」と題した論文で、小さな標本・小さな効果・分析の柔軟さ・出版バイアスが重なると、有意と報告された結果の過半が偽でありうることを示しました。そして2011年、シモンズらが構造を白日の下に晒します。「もっともらしい分析の自由度を使えば、『ビートルズの曲を聴くと実年齢が若くなる』という明らかに偽の仮説でも有意にできる」ことを実演し、さらにシミュレーションで、従属変数を2つから選ぶ・途中でデータを追加する・共変量を入れる・条件の一部だけを比べる、という4つの自由度を組み合わせるだけで、効果がないのに有意になる確率が名目の5%から約61%に膨らむことを示したのです。同時期に有名研究の追試失敗が続き、問題は個人の不正ではなく研究と出版の仕組み全体にあるという認識が広がりました。その解決策として、分析計画を事前に登録する「事前登録」、結果を見る前に掲載可否を決める「登録報告」といった制度が生まれ、統計教育でもp値の解釈の見直しが進むことになりました。
詳細
分析の自由度 — 有意はいくらでも作れる
p値ハッキングの中核は「研究者の自由度」です。データ収集をいつ打ち切るか、外れ値をどの基準で除くか、従属変数をどれにするか、どの共変量で調整するか、どのサブグループを見るか。それぞれの選択肢が2〜3個ずつあるだけで、分析経路は容易に数十〜数百通りに膨れ上がります。各経路が偶然5%で有意になるなら、経路をたどり直すたびに「どこかで有意」が出る確率は急上昇します。これは多重比較そのものですが、試行の大半が報告されないため、読者には補正のしようがありません。
この掛け算の威力は、実際に小道を歩いてみると実感できます。下の部品のデータには、処置の効果がまったくありません。5つの選択を切り替えるたびに、その小道の先の p値 が明かされます。「有意が出るまで試す」で自動的に歩き回らせると、どこかで p < 0.05 の葉に行き当たります。最後に 100 組の新しいデータで同じことをすると、どこかの小道で有意になる確率がシモンズらのシミュレーションと同じく5割を超えることが確かめられます。
このデータには効果がまったくありません。計画どおりの分析（いちばん左の小道）では p = 0.858。上の選択を変えて、ほかの小道の先の p 値を開けてみてください。
データ: 処置群40人・対照群40人。処置は結果に何の影響も与えない。棒が下に長いほど p が小さい（赤い線より下 = p < 0.05）
代表的な手口には名前が付いています。有意になるまでサンプルを追加し続ける「オプショナル・ストッピング」、結果を見てから「最初からその仮説だった」ことにする「HARKing」（Hypothesizing After the Results are Known）、多数の指標を測って有意なものだけ報告する「選択的報告」などです。いずれも共通するのは、「結果を見てから決めた選択」を「最初から決めていた選択」のように報告する点です。サブグループ分析にも特有の罠があります。「全体では差がないが、女性でだけ有意だった」という結果から「女性にだけ効く」と結論するには、本来は男女で効果の大きさが違うこと（交互作用）を検定しなければなりません。女性で p = 0.03、男性で p = 0.30 という結果は、効果が男女で違うことの証拠にはならないのです。
出版バイアスとの共犯関係
p値ハッキングが個々の研究の問題だとすれば、出版バイアスは分野全体の問題です。有意な結果は掲載され、有意でない結果はお蔵入りになる。すると同じ仮説を10チームが検証して9チームが「効果なし」でも、偶然有意になった1チームの結果だけが文献に残ります。文献だけを見る後続の研究者には、効果が実在するようにしか見えません。これは生存者バイアスと同じ構造で、「生き残った研究」だけから全体を推論する誤りです。こうした偏りを文献の側から検出する道具として、2014年にシモンソンらが提案した p-curve 分析があります。ある主張を支える研究群から、有意だった（0.05 未満の）p値だけを集めて、その分布の形を見るのです。効果が本当にあれば、有意な p 値は 0.01 未満のような小さい値に偏り、分布は右下がりになります。効果がなく偶然だけで有意になっているなら、有意な p 値は 0 から 0.05 の間に一様に散らばり、分布は平らになります。さらにハッキングで「ぎりぎり有意」まで押し込んだ結果が多ければ、0.04〜0.05 付近が盛り上がる右上がりの形になります。p-curve は、出版バイアスで「有意な研究しか見えない」状況でも、その有意な研究群に本物の証拠があるかどうかを調べられる点に意義があります。
なぜ「有意なのに再現しない」のか
有意な結果が再現に失敗する仕組みには、検定力の低さも絡んでいます。サンプルサイズが小さく検定力が低い研究では、真の効果を検出できる確率がそもそも低いうえ、偶然有意になった場合の推定効果は実際より大きく出がちです（勝者の呪い）。低検定力の研究×分析の自由度×出版バイアスという組み合わせは、「文献上は大きな効果があるのに、大規模な追試ではほぼゼロ」という再現性の危機の典型的なパターンを量産しました。つまり危機の本質は、p値という道具の欠陥だけでなく、仮説検定の運用が「探索」と「確証」の区別を失っていたことにあります。
処方箋 — 事前登録・効果量・透明性
対策の柱は、選択を「結果を見る前」に固定することです。事前登録（preregistration）では、仮説・サンプルサイズ・除外基準・分析手法を、データを見る前に公開データベースに登録します。さらに進んだ登録報告（Registered Report）では、学術誌が結果の出る前に研究計画だけを査読して掲載を約束するため、「有意でないとお蔵入り」という出版バイアスの動機そのものが消えます。探索的な分析を禁じるのではなく、「これは探索だ」と明示し、確証は新しいデータで行う、という区別の回復が要点です。
報告の仕方も変わりつつあります。「有意か否か」の二値ではなく、効果量と信頼区間で「どのくらいの大きさの効果が、どの程度の精度で推定されたか」を示すこと。サンプルサイズを検定力分析で事前に設計すること。データとコードを公開して第三者が検証できるようにすること。なお、この問題は機械学習にもそのまま輸出されており、テストデータの成績を見ながらモデルを選び直す行為はデータリークの一形態として、p値ハッキングと同じ構造の「良すぎる数字」を生みます。分野を問わず、「結果を見てから決めたことを、決めてから見たことにしない」が再現性の第一原則です。
試問
処置群40人・対照群40人のデータですが、処置は結果にまったく効果がありません。それでも分析には「どの指標を使うか」「誰を対象にするか」「外れ値を除くか」など5つの分かれ道があり、選び方の組み合わせ（小道）は全部で48通りです。小道ごとに p 値（効果が無くても偶然これほどの差が出る確率。0.05 未満で「有意」）が出ます。「事前登録」は、データを見る前に分析の手順を1本に決めておくことです。
このデータには効果がまったくありません。計画どおりの分析（いちばん左の小道）では p = 0.858。上の選択を変えて、ほかの小道の先の p 値を開けてみてください。
データ: 処置群40人・対照群40人。処置は結果に何の影響も与えない。棒が下に長いほど p が小さい（赤い線より下 = p < 0.05）