p値
p-Value ・ ぴーち
帰無仮説のもとで観測データほど極端な結果が出る確率。検定の判断材料
✦ 30秒で試す — 航海コイン100回で表が何回出たら、偶然とは言いにくい？表が50回から何回ずれたら、p値が5%を切る？予想してみる概要
p値は、仮説検定において「帰無仮説（差はない・効果はないという仮説）が正しいとしたら、観測されたデータと同じかそれ以上に極端な結果が偶然出てしまう確率」です。たとえば新旧デザインのA/Bテストでクリック率に差が出たとき、p = 0.03 なら「本当は差がない世界でも、偶然でこのくらい以上の差が出ることは3%の頻度で起きる」という意味になります。
p値が小さいほど、「偶然でした」という説明は苦しくなります。慣習的に 0.05 を下回ると「統計的に有意」と呼び、偶然では説明しにくい、つまり帰無仮説を棄却する根拠になると判断します。科学論文からビジネスの実験まで、データから「差は本物か」を判定する場面のほぼすべてでp値が登場します。
同時にp値は、統計学で最も誤解されている数値でもあります。「仮説が正しい確率」でも「効果の大きさ」でも「再現する確率」でもありません。何を意味し、何を意味しないのかを正確に押さえることが、この語彙のゴールです。
なぜ生まれたか
20世紀初頭まで、実験や調査で差が出たとき「これは偶然か、それとも本物か」の判断は研究者の主観に任されていました。肥料Aを撒いた畑の収量が肥料Bより多くても、畑の土や天候のむらだけでその程度の差は出るかもしれません。偶然と実力を切り分ける、誰が計算しても同じ答えになる客観的な物差しが必要でした。
ピアソンのカイ二乗検定（1900年）の時点ですでに「この程度以上のずれが偶然で出る確率」という量は計算されていましたが、R.A.フィッシャーは1920年代、これを検定の中心に据えて体系化しました。論法は一種の背理法です。まず「差はない」という帰無仮説を仮に立て、その仮定の下で観測結果がどれほど珍しいかを計算する。もし「帰無仮説が正しいならこんなデータはめったに出ない」と分かれば、疑うべきは目の前のデータではなく仮説のほうだ — として帰無仮説を棄却します。フィッシャーはp値を「証拠の強さの連続的な目安」として使い、0.05という水準も「実務上の便利な区切り」程度に扱っていました。のちにネイマンとピアソンが、事前に基準を固定して採択・棄却を二分し第一種・第二種の過誤の確率を制御する検定理論を整備し、現在教科書で習う手続きは両者の折衷として定着しました。
詳細
p値が測っているもの — 帰無分布の裾の面積
p値の計算は、「帰無仮説が正しい世界」を想像することから始まります。その世界では、検定統計量（平均の差を標準誤差で割った値など）は理論的に決まった分布（帰無分布）に従います。観測されたデータから統計量を計算し、帰無分布の中で「観測値と同じかそれ以上に極端な領域」が占める面積 — それがp値です。
「極端」を差の片方向だけで数えるのが片側検定、両方向で数えるのが両側検定で、通常は差の向きを事前に決めつけない両側検定を使います。帰無分布には状況に応じてt分布（t検定）やカイ二乗分布（カイ二乗検定）などが使われますが、「帰無仮説の世界での珍しさを裾の面積で測る」という構図はどの検定でも共通です。
面積という抽象的な言い方は、シミュレーションにすると具体的になります。「このコインは公正か」を調べるために100回投げて表が60回出たとします。帰無仮説は「公正なコイン」なので、公正なコインで100回投げる実験を何千回も繰り返し、表の回数を積み上げれば、それが帰無分布そのものです（形は二項分布になります）。観測値60の位置に線を引き、それ以上に極端な実験の割合を数えれば p値です。下の部品で観測値をドラッグし、p値がどう変わるかを確かめてください。
公正なコインを 100 回投げて表を数える実験を、何度も繰り返します。まず「実験を1回」を押し、次に金の丸（観測値 k）を左右にドラッグしてみてください。
上: 1回の実験（100回投げた結果。金 = 表）。下: 公正なコインで実験を繰り返したときの表の回数の割合。青の横線 = 二項分布の理論値
表60回の両側 p値は約0.057で、5%の線をわずかに上回ります。61回なら約0.035で「有意」に変わります。表の回数が1つ違うだけで結論が入れ替わる — 0.05という線の恣意性が手に取るように分かるはずです。
何を意味しないか — 三大誤解
p値の誤解は根深く、米国統計学会が2016年に異例の公式声明を出したほどです。代表的な誤解を3つ挙げます。
第一に、p値は「帰無仮説が正しい確率」ではありません。p = 0.03 は「差がない確率が3%」という意味ではなく、計算の前提として帰無仮説を正しいと仮定した上での、データ側の珍しさです。仮説そのものの確率を語りたければ、事前確率を持ち込むベイズの定理の枠組みが必要になります。実際、もともと本物の効果がめったにない分野（新薬候補のスクリーニングなど）では、p < 0.05 で「発見」とされたもののかなりの割合が偽陽性になりえます。
第二に、p値は効果の大きさを表しません。p値は効果の大きさと標本サイズの両方に反応するため、巨大なデータでは実務的に無意味な微差でも p < 0.001 になります。「どれだけ差があるか」は効果量や信頼区間で別途示す必要があります。逆に p > 0.05 は「差がないことの証明」でもありません — 標本が小さく検出力が足りず、本物の差を見逃しているだけかもしれないのです。
第三に、0.05という線に本質的な意味はありません。p = 0.049 と p = 0.051 の間に証拠の強さの断絶はなく、0.05は歴史的な慣習にすぎません。二値の判定ではなく連続的な証拠の目安として読むのが、フィッシャーの本来の使い方に近い態度です。なお、帰無仮説が本当に正しいとき、p値は0から1のあいだに一様に散らばります。「p = 0.3 だったから帰無仮説は70%正しい」といった読みが成り立たないのは、このためでもあります。
p値ハッキングと再現性の危機
p値の運用上の最大の問題は、「有意になるまで試行を重ねられてしまう」ことです。有意になるまでデータを追加する、多数の指標を測って有意だったものだけ報告する、外れ値の除外基準を後から調整する — こうした操作はp値ハッキングと呼ばれます。p < 0.05 という基準は「本当は差がないとき、1回の検定が偶然有意になる確率が5%」という意味なので、試行を増やせば偽の発見はいくらでも作れます。この構造は多重比較の問題そのものです。
2015年、心理学の主要誌に載った100本の研究を追試した大規模プロジェクト（Open Science Collaboration）では、元の研究の97%が有意だったのに対し、追試で有意になったのは約36%にとどまりました。p値ハッキングや、有意な結果ばかりが出版される出版バイアスが、この「再現性の危機」の主要因とされています。対策として、仮説と解析計画を実験前に登録する事前登録、検定の多重性の補正、有意水準を0.005に厳しくする提案などが議論され、事前登録は標準的な作法になりつつあります。
実務での読み方
p値を実務で健全に使うための要点は、単独で読まないことに尽きます。報告を読むときは、p値とあわせて効果量・信頼区間・標本サイズを確認し、「統計的に有意」と「実務的に意味がある」を区別します。A/Bテストのように自分で検定するときは、仮説・有意水準・片側か両側か・標本サイズ（いつ止めるか）を実験の前に決め、途中で何度も結果を覗いて有意になった時点で止めることはしません。測った指標はすべて報告します。p値は「偶然と言い張れるかどうか」を測る門番としては優秀ですが、意思決定に必要な情報の一部でしかない — この距離感が、p値と付き合う上での結論です。
試問
公正なコイン（表と裏が半々）を100回投げて表の回数を数える実験を、ボタンで何度も繰り返せます。p 値は「コインが公正だと仮定したとき、観測値と同じかそれより極端な結果が出る割合」で、金の丸で観測値 k を動かせます。式で計算した p 値の表示は伏せてあるので、偶然だけの世界の実験を自分で積み、その割合で確かめてください。
公正なコイン（帰無仮説の世界）で「100 回投げて表を数える」実験を繰り返し、金の丸（観測値 k）より極端な結果が何割出るかを数えます。検定は両側です。
上: 1回の実験（100回投げた結果。金 = 表）。下: 公正なコインで実験を繰り返したときの表の回数の割合。青の横線 = 二項分布の理論値