仮説検定
Hypothesis Testing ・ かせつけんてい
偶然では起こりにくいかどうかで仮説を判断する、推測統計の中心的手続き
✦ 30秒で試す — 航海薬が効いたか確かめるのに、まず「効かない」と仮定するこの2つが示す証拠の強さの違いは？予想してみる概要
仮説検定は、データに見られる差やパターンが「偶然のばらつきの範囲内か、それとも偶然では説明しにくいか」を判断するための手続きです。新薬を飲んだグループの回復率が高かった、デザイン変更後にクリック率が上がった — こうした差は本物かもしれませんし、標本のばらつきによる見かけ上の差かもしれません。仮説検定は、この二つを区別する共通の物差しを与えます。
発想は背理法に似ています。まず「差はない」という仮説（帰無仮説）をあえて立て、その仮説が正しいと仮定したときに、手元のデータほど極端な結果がどれくらいの確率で起こるかを計算します。この確率がp値で、p値が十分小さければ「偶然にしては起こりにくすぎる。差はないという仮説のほうを疑おう」と判断して仮説を棄却します。「有意差があった」「p < 0.05」といった表現は、すべてこの手続きの結果を指しています。
医薬品の承認、学術論文の査読、WebサービスのA/Bテストまで、「データにもとづいて主張を通す」場面の共通言語になっている一方で、仮説検定ほど誤解されている統計の手続きもありません。手続きの中身と限界をセットで理解することが重要な語彙です。
なぜ生まれたか
検定以前、実験結果の解釈は研究者の目利きに委ねられていました。「このくらい差があれば本物だろう」という判断は人によって揺れ、少数の観測にはつきものの偶然のばらつきと、意味のある差とを区別する共通の基準がなかったのです。特に農事試験のように、天候や土壌のばらつきが大きく、繰り返しの回数も限られる実験では、この曖昧さが深刻でした。
1900年にカール・ピアソンがカイ二乗検定を発表したのが近代的な検定の始まりで、1908年にはギネス醸造所の技師ゴセットが、少数の標本しか取れない品質管理の現場のために小標本の理論（t分布）を作りました。続いてフィッシャーが、ロザムステッド農業試験場での経験をもとに「帰無仮説を立てて偶然らしさを p値 で測る」という枠組みを体系化しました（1925年『研究者のための統計的方法』）。「ミルクが先か紅茶が先かを言い当てられる」と主張した婦人を偶然と区別するにはどんな実験が必要か、というフィッシャーの「紅茶の実験」の逸話は、この考え方を象徴しています。さらにネイマンとピアソン（エゴン、カールの息子）が、二種類の誤りの確率を設計する意思決定の理論として整備し（1933年）、現在教科書で教えられる形になりました。主観的だった「差の判断」を、誰が行っても同じ結論に至る手続きに置き換えたことが、この道具の発明の核心です。
詳細
手続きの流れ
仮説検定は毎回同じ型で進みます。まず、否定したい仮説を「帰無仮説」（例: 新旧デザインでクリック率に差はない）、示したい主張を「対立仮説」（例: 差がある）として明文化します。次に、どこまでの偶然を許容するかの基準「有意水準 α」を決めます。慣習的には5%（0.05）がよく使われますが、これはデータを見る前に決めるのがルールです。そのうえでデータを集め、差の大きさをばらつき（標準誤差）で割った「検定統計量」を計算し、帰無仮説のもとでその値がどれくらい珍しいかを p値 として求めます。p値が有意水準を下回れば帰無仮説を棄却し、「統計的に有意な差がある」と結論します。
検定統計量が従う分布は、多くの場合正規分布かその親戚（t分布など）です。標本平均を扱う検定でこの近似が広く成り立つのは、中心極限定理が背後で働いているからです。
帰無分布・棄却域・p値
検定の判定を1枚の絵にすると、次のようになります。帰無仮説が正しい世界で検定統計量がとる値の分布を「帰無分布」と呼び、その両端のうち合計で α（5%）の面積になる部分を「棄却域」とします。観測された統計量が棄却域に落ちれば帰無仮説を棄却する — これがネイマン＝ピアソン流の見方です。一方、観測値より外側の面積を計算したものが p値で、フィッシャー流の見方です。「観測値が棄却域に入る」ことと「p値が α より小さい」ことは、同じ判定の言い換えになっています。
図は「差の向きを問わない」両側検定で、棄却域を左右に2.5%ずつ置いています。新薬が効く方向の差だけを問題にする片側検定では、5%の棄却域を片側にまとめて置くので、同じ観測値でも p値はおよそ半分になります。そのぶん反対向きの差（新薬がかえって悪い）は検出できません。片側か両側かはデータを見る前に決めておくべきもので、結果を見てから片側に切り替えて有意にするのは、後で述べる p値ハッキングの一種です。迷ったら両側検定を使うのが標準的な作法です。
帰無分布を自分で作る — 並べ替え検定
帰無分布は、公式を知らなくても作れます。「新薬に効果がない」なら、ある人が新薬群に入ったか偽薬群に入ったかというラベルは、測定値と無関係のはずです。そこで、ラベルだけをくじ引きで付け替えて群の平均の差を計算し直す、という操作を何百回も繰り返すと、「効果がない世界で偶然生じる差」の分布ができあがります。これが並べ替え検定（permutation test）で、フィッシャー自身が1930年代に検定の論理の基礎として示したものです。下の部品でラベルをシャッフルし、観測された差がこの分布のどこに位置するかを見てください。
新薬の群（緑）は偽薬の群（白）より平均 +5.0 改善しました。もし薬に効果がないなら、誰がどちらの群かというラベルは入れ替えても同じはず。「ラベルをシャッフル」で確かめてください。
上: 各人の改善量（点）と群の平均（縦線）。下: ラベルをシャッフルしたときの平均の差の分布（帰無分布）。朱色 = 観測値以上に極端な領域
「差が大きい」データでは、どれだけシャッフルしても観測値ほど極端な差はほとんど出ず、p値は0に近づきます。「差が小さい」データでは、偶然だけで観測値以上の差がいくらでも出ます。t検定の p値（参考値）が並べ替えの結果とよく一致するのは、t分布が「この並べ替えの分布」の良い近似になっているからです。
p値の正しい読み方
p値の定義は「帰無仮説が正しいと仮定したとき、観測された結果、またはそれ以上に極端な結果が得られる確率」です。回りくどい定義ですが、この回りくどさに意味があります。よくある誤解は「p値は帰無仮説が正しい確率だ」というものです。p = 0.03 は「差がない確率が3%」という意味ではありません。条件の向きが逆で、「差がないと仮定した世界で、このくらい以上に極端なデータが出る確率が3%」と言っているにすぎません。また、帰無仮説を棄却できなかったときに「差がないことが証明された」と読むのも誤りです。単に標本が小さくて検出できなかっただけかもしれず、「証拠不十分」と「無実の証明」は別物です。詳しくはp値の語彙で扱います。
二種類の誤り
検定は確率にもとづく判断なので、間違えることがあります。本当は差がないのに「差がある」と判断してしまう第一種の過誤（偽陽性）と、本当は差があるのに見逃す第二種の過誤（偽陰性）です（第一種・第二種の過誤）。有意水準5%とは、帰無仮説が正しい場合に第一種の過誤を犯す確率を5%に抑えるという設計宣言にほかなりません。二つの誤りはトレードオフの関係にあり、偽陽性を厳しく抑えるほど本物の差も検出しにくくなります。見逃しを減らすには標本を増やすのが正攻法で、本物の差を検出できる確率（検出力）から逆算して標本の大きさを決める「検出力分析」を実験の設計段階で行うのが本来の作法です。
代表的な検定と使い分け
検定は目的とデータの型に応じて多くの種類があります。二つのグループの平均を比べるなら t検定、アンケートの選択肢の比率のように度数の偏りを見るならカイ二乗検定、三つ以上のグループを比べるなら分散分析、分布の形を仮定したくなければ順位にもとづくノンパラメトリック検定、というのが代表的な顔ぶれです。どれも「帰無仮説のもとでの統計量の分布と観測値を照合する」という骨格は共通で、違うのは統計量の作り方と参照する確率分布だけです。骨格を一度理解すれば、個々の検定は差分として学べます。
落とし穴 — 有意と重要は別物
実務で最も注意すべきは、「統計的に有意」と「実質的に重要」の混同です。p値は差の大きさではなく偶然らしさの指標なので、標本が巨大なら 0.1% の微差でも有意になります。有意差が出たら、次に「その差は意思決定を変えるほど大きいのか」を効果量や信頼区間で確認する習慣が欠かせません。
もう一つの大きな問題が p値ハッキングです。有意になるまでデータを追加して検定を繰り返す、都合のよい指標だけ報告する、データを見てから仮説や片側・両側を変える — こうした操作をすると偽陽性が量産されます。有意水準5%は「帰無仮説が正しいとき、1回の検定が偶然有意になる確率が5%」という意味なので、効果のない比較を20回繰り返せば、少なくとも1回は有意になる確率が約64%（1 − 0.95²⁰）にもなります。多数の比較を行う場合は多重比較の補正が必要です。検定は「仮説とデータを先に固定してこそ機能する」道具だと覚えておくと、この種の失敗を避けやすくなります。
試問
新薬と偽薬を12人ずつに飲ませて、改善量を比べる実験です。並べ替え検定では「薬に効果はない」と仮定し、新薬・偽薬のラベルをでたらめに入れ替えて平均の差を計算することを何百回もくり返します。こうしてできた「偶然だけで生まれる差」の分布の中で、実際の差以上に極端な差が出る割合が p 値です。スライダーで新薬の群を丸ごとずらし、観測される差を変えられます（散らばり方は変わりません）。
いまの差は +1.5。スライダーで新薬の群をずらし、「200回 シャッフル」で帰無分布を作って p 値を確かめてください。差を変えるとシャッフルの結果は消えます。
上: 各人の改善量（点）と群の平均（縦線）。下: ラベルをシャッフルしたときの平均の差の分布（帰無分布）。朱色 = 観測値以上に極端な領域