仮説検定

概要

仮説検定は、データに見られる差やパターンが「偶然のばらつきの範囲内か、それとも偶然では説明しにくいか」を判断するための手続きです。新薬を飲んだグループの回復率が高かった、デザイン変更後にクリック率が上がった — こうした差は本物かもしれませんし、標本のばらつきによる見かけ上の差かもしれません。仮説検定は、この二つを区別する客観的な物差しを与えます。

発想は背理法に似ています。まず「差はない」という仮説（帰無仮説）をあえて立て、その仮説が正しいと仮定したときに、手元のデータほど極端な結果がどれくらいの確率で起こるかを計算します。この確率が「p値」で、p値が十分小さければ「偶然にしては起こりにくすぎる。差はないという仮説のほうを疑おう」と判断して仮説を棄却します。「有意差があった」「p < 0.05」といった表現は、すべてこの手続きの結果を指しています。

医薬品の承認、学術論文の査読、WebサービスのA/Bテストまで、「データにもとづいて主張を通す」場面の共通言語になっている一方で、p値ほど誤解されている統計概念もありません。手続きの中身と限界をセットで理解することが重要な語彙です。

なぜ生まれたか

検定以前、実験結果の解釈は研究者の目利きに委ねられていました。「このくらい差があれば本物だろう」という判断は人によって揺れ、少数の観測にはつきものの偶然のばらつきと、意味のある差とを区別する共通の基準がなかったのです。特に農事試験のように、天候や土壌のばらつきが大きく、繰り返しの回数も限られる実験では、この曖昧さが深刻でした。

20世紀初頭、ギネス醸造所の技師ゴセットは、少数の標本しか取れない品質管理の現場のために小標本の理論（t分布）を作り、続いてフィッシャーが農業試験場での経験をもとに「帰無仮説を立てて偶然らしさを p値で測る」という枠組みを体系化しました（1925年頃）。「ミルクが先か紅茶が先かを言い当てられる」と主張した婦人を偶然と区別するには何回の試行が必要か、というフィッシャーの「紅茶の実験」の逸話は、この考え方を象徴しています。さらにネイマンとピアソンが、二種類の誤りの確率を設計する意思決定の理論として整備し、現在教科書で教えられる形になりました。主観的だった「差の判断」を、誰が行っても同じ結論に至る手続きに置き換えたことが、この道具の発明の核心です。

詳細

手続きの流れ

仮説検定は毎回同じ型で進みます。まず、否定したい仮説を「帰無仮説」（例: 新旧デザインでクリック率に差はない）、示したい主張を「対立仮説」（例: 差がある）として明文化します。次に、どこまでの偶然を許容するかの基準「有意水準」を決めます。慣習的には5%（0.05）がよく使われますが、これはデータを見る前に決めるのがルールです。そのうえでデータを集め、差の大きさをばらつきで割った「検定統計量」を計算し、帰無仮説のもとでその値がどれくらい珍しいかを p値として求めます。p値が有意水準を下回れば帰無仮説を棄却し、「統計的に有意な差がある」と結論します。

検定統計量が従う分布は、多くの場合正規分布かその親戚（t分布など）です。標本平均を扱う検定でこの近似が広く成り立つのは、中心極限定理が背後で働いているからです。

p値の正しい読み方

p値の定義は「帰無仮説が正しいと仮定したとき、観測された結果、またはそれ以上に極端な結果が得られる確率」です。回りくどい定義ですが、この回りくどさに意味があります。よくある誤解は「p値は帰無仮説が正しい確率だ」というものです。p = 0.03 は「差がない確率が3%」という意味ではありません。条件の向きが逆で、「差がないと仮定した世界で、このデータが出る珍しさが3%」と言っているにすぎません。また、帰無仮説を棄却できなかったときに「差がないことが証明された」と読むのも誤りです。単に標本が小さくて検出できなかっただけかもしれず、「証拠不十分」と「無実の証明」は別物です。

二種類の誤り

検定は確率にもとづく判断なので、間違えることがあります。誤りには二種類あります。本当は差がないのに「差がある」と判断してしまう「第一種の過誤」（偽陽性）と、本当は差があるのに見逃す「第二種の過誤」（偽陰性）です。有意水準5%とは、第一種の過誤を5%まで許容するという設計宣言にほかなりません。二つの誤りはトレードオフの関係にあり、偽陽性を厳しく抑えるほど本物の差も検出しにくくなります。見逃しを減らすには標本を増やすのが正攻法で、必要な検出力（本物の差を検出できる確率）から逆算して標本の大きさを決める「検出力分析」を実験の設計段階で行うのが本来の作法です。

代表的な検定と使い分け

検定は目的とデータの型に応じて多くの種類があります。二つのグループの平均を比べるなら t検定、アンケートの選択肢の比率のように度数の偏りを見るならカイ二乗検定、三つ以上のグループを比べるなら分散分析、というのが代表的な顔ぶれです。どれも「帰無仮説のもとでの統計量の分布と観測値を照合する」という骨格は共通で、違うのは統計量の作り方と参照する確率分布だけです。骨格を一度理解すれば、個々の検定は差分として学べます。

落とし穴 — 有意と重要は別物

実務で最も注意すべきは、「統計的に有意」と「実質的に重要」の混同です。p値は差の大きさではなく偶然らしさの指標なので、標本が巨大なら 0.1% の微差でも有意になります。有意差が出たら、次に「その差は意思決定を変えるほど大きいのか」を効果量や信頼区間で確認する習慣が欠かせません。もう一つの大きな問題が「p-hacking」です。有意になるまで検定を繰り返す、都合のよい指標だけ報告する、データを見てから仮説を変える — こうした操作をすると偽陽性が量産されます。5%の有意水準は「20回に1回は偶然でも有意になる」という意味なので、多数の比較を行う場合は補正が必要です。検定は「仮説とデータを先に固定してこそ機能する」道具だと覚えておくと、この種の失敗を避けやすくなります。