p値

概要

p値は、仮説検定において「帰無仮説（差はない・効果はないという仮説）が正しいとしたら、観測されたデータと同じかそれ以上に極端な結果が偶然出てしまう確率」です。たとえば新旧デザインのA/Bテストでクリック率に差が出たとき、p = 0.03 なら「本当は差がない世界でも、偶然でこのくらいの差は3%の頻度で起きる」という意味になります。

p値が小さいほど、「偶然でした」という説明は苦しくなります。慣習的に 0.05 を下回ると「統計的に有意」と呼び、偶然では説明しにくい、つまり帰無仮説を棄却する根拠になると判断します。科学論文からビジネスの実験まで、データから「差は本物か」を判定する場面のほぼすべてでp値が登場します。

同時にp値は、統計学で最も誤解されている数値でもあります。「仮説が正しい確率」でも「効果の大きさ」でも「再現する確率」でもありません。何を意味し、何を意味しないのかを正確に押さえることが、この語彙のゴールです。

なぜ生まれたか

20世紀初頭まで、実験や調査で差が出たとき「これは偶然か、それとも本物か」の判断は研究者の主観に任されていました。肥料Aを撒いた畑の収量が肥料Bより多くても、畑の土や天候のむらだけでその程度の差は出るかもしれません。偶然と実力を切り分ける、誰が計算しても同じ答えになる客観的な物差しが必要でした。

R.A.フィッシャーは1920年代、この物差しとしてp値を体系化しました。論法は一種の背理法です。まず「差はない」という帰無仮説を仮に立て、その仮定の下で観測結果がどれほど珍しいかを計算する。もし「帰無仮説が正しいならこんなデータはめったに出ない」と分かれば、疑うべきは目の前のデータではなく仮説のほうだ — として帰無仮説を棄却します。フィッシャーはp値を「証拠の強さの連続的な目安」として使い、0.05という水準も「実務上の便利な区切り」程度に扱っていました。のちにネイマンとピアソンが、事前に基準を固定して採択・棄却を二分し第一種・第二種の過誤の確率を制御する検定理論を整備し、現在教科書で習う手続きは両者の折衷として定着しました。

詳細

p値が測っているもの — 帰無分布の裾の面積

p値の計算は、「帰無仮説が正しい世界」を想像することから始まります。その世界では、検定統計量（平均の差を標準誤差で割った値など）は理論的に決まった分布（帰無分布）に従います。観測されたデータから統計量を計算し、帰無分布の中で「観測値と同じかそれ以上に極端な領域」が占める面積 — それがp値です。

「極端」を差の片方向だけで数えるのが片側検定、両方向で数えるのが両側検定で、通常は差の向きを事前に決めつけない両側検定を使います。帰無分布には状況に応じてt分布（t検定）やカイ二乗分布（カイ二乗検定）などが使われますが、「帰無仮説の世界での珍しさを裾の面積で測る」という構図はどの検定でも共通です。

何を意味しないか — 三大誤解

p値の誤解は根深く、米国統計学会が2016年に異例の公式声明を出したほどです。代表的な誤解を3つ挙げます。

第一に、p値は「帰無仮説が正しい確率」ではありません。p = 0.03 は「差がない確率が3%」という意味ではなく、計算の前提として帰無仮説を正しいと仮定した上での、データ側の珍しさです。仮説そのものの確率を語りたければ、事前確率を持ち込むベイズの定理の枠組みが必要になります。

第二に、p値は効果の大きさを表しません。p値は効果の大きさと標本サイズの両方に反応するため、巨大なデータでは実務的に無意味な微差でも p < 0.001 になります。「どれだけ差があるか」は効果量や信頼区間で別途示す必要があります。逆に p > 0.05 は「差がないことの証明」でもありません — 標本が小さく検出力が足りず、本物の差を見逃しているだけかもしれないのです。

第三に、0.05という線に本質的な意味はありません。p = 0.049 と p = 0.051 の間に証拠の強さの断絶はなく、0.05は歴史的な慣習にすぎません。二値の判定ではなく連続的な証拠の目安として読むのが、フィッシャーの本来の使い方に近い態度です。

pハッキングと再現性の危機

p値の運用上の最大の問題は、「有意になるまで試行を重ねられてしまう」ことです。有意になるまでデータを追加する、多数の指標を測って有意だったものだけ報告する、外れ値の除外基準を後から調整する — こうした操作はpハッキングと呼ばれます。p < 0.05 という基準は「本当は差がなくても20回に1回は偶然有意になる」ことを意味するので、試行を増やせば偽の発見はいくらでも作れます。この構造は多重比較の問題そのもので、2010年代に心理学などで発覚した「再現性の危機」（著名な研究の追試が半分前後しか成功しない）の主要因とされました。対策として、仮説と解析計画を実験前に登録する事前登録や、検定の多重性の補正が標準的な作法になりつつあります。

実務での読み方

p値を実務で健全に使うための要点は、単独で読まないことに尽きます。報告を読むときは、p値とあわせて効果量・信頼区間・標本サイズを確認し、「統計的に有意」と「実務的に意味がある」を区別します。自分が検定するときは、仮説と有意水準と標本サイズを実験の前に決め、測った指標はすべて報告します。p値は「偶然と言い張れるかどうか」を測る門番としては優秀ですが、意思決定に必要な情報の一部でしかない — この距離感が、p値と付き合う上での結論です。