t検定

概要

t検定は、「平均の差」が偶然のばらつきで説明できる範囲か、それとも本物の差とみなすべきかを判定する仮説検定です。新デザインと旧デザインでページ滞在時間の平均は違うか、新薬を飲んだ群と飲まなかった群で血圧の平均は違うか — 「2つの平均を比べる」という場面は実験・調査・A/Bテストの至るところに現れるため、t検定は数ある検定の中で最も使われる存在になっています。

考え方の核はシンプルで、「観測された平均の差」を「偶然だけでも生じうる差の大きさ（標準誤差）」で割り算します。この比がt値です。差が標準誤差の何倍もあるなら偶然では説明しにくく、標準誤差と同じ程度なら偶然の範囲 — この判断の物差しとしてt分布を使うことが、名前の由来です。

なぜ生まれたか

20世紀初頭までの統計理論は「標本が十分大きい」ことを前提にしていました。標本平均の分布は中心極限定理により正規分布で近似でき、母集団の標準偏差 σ も標本から精度よく見積もれる — しかしこの前提は、ギネスビール社の技師ゴセットが直面した現実と合いませんでした。醸造の品質実験で使える標本は数個から十数個。小さな標本では σ の推定自体が大きくブレるため、正規分布を物差しに使うと「偶然の範囲」を狭く見積もりすぎ、偶然の差を本物と誤認してしまいます。

ゴセットは1908年、σ の推定のブレまで織り込んだ「小標本用の物差し」としてt分布を導出し、ペンネームの Student 名義で発表しました。裾が正規分布より厚いt分布を使えば、標本が小さいときの不確かさを正直に反映した判定ができます。のちにフィッシャーが理論を整備し、t検定は「小標本でも使える平均の差の検定」として実験科学の標準装備になりました。

詳細

t値の意味 — 差をばらつきで割る

2群の平均差の検定を例にすると、t値は「(群Aの平均 − 群Bの平均) ÷ 平均差の標準誤差」で計算されます。分子は観測された差そのもの、分母は「本当は差がなくても、標本の偶然でこのくらいの差は出る」というノイズの目安です。重要なのは、同じ5点差でもデータのばらつきと標本サイズによって意味がまったく変わることです。ばらつきが小さく標本が大きければ5点差は「偶然ではまず出ない差」ですが、ばらつきが大きく標本が小さければ「ノイズの範囲内」にすぎません。

計算されたt値を、自由度（おおよそ標本サイズに応じて決まるパラメータ）に対応するt分布に照らしてp値を求め、有意水準（慣習的に5%）と比べて判定する — というのが手続きの全体です。標本が大きくなるとt分布は正規分布に近づくため、大標本ではz検定とほぼ同じ結果になります。

3つの型 — 1標本・対応あり・対応なし

t検定には場面に応じた3つの型があります。1標本のt検定は、1つの群の平均を既知の基準値と比べます（例: この工場の製品の平均重量は規格の100gと言えるか）。対応のある（paired）t検定は、同じ対象の前後比較です（例: 同じ患者の投薬前後の血圧）。各ペアの「差」を取って1標本の検定に帰着させるため、個人差というばらつきが消えて検出しやすくなります。対応のない（独立2標本の）t検定は、別々の2群の平均を比べる最も一般的な型です（例: A/Bテストの2グループ）。どの型を選ぶかはデータの取り方で決まっており、対応のあるデータに独立2標本の検定を使うのは典型的な誤りです。

Studentの方法とWelchの方法

独立2標本のt検定には、2群の分散が等しいと仮定する古典的なStudentの方法と、等分散を仮定しないWelchの方法があります。かつては「まず等分散性を検定して、結果に応じて使い分ける」という手順が教えられましたが、この2段階の手順は判定を歪めることが知られており、現在は最初からWelchの方法を使うのが実務の標準です。等分散が成り立つ場合でもWelchの損はごくわずかで、成り立たない場合の頑健性が大きく勝ります。RやPythonの主要ライブラリでもWelchが既定になっています。

前提と、崩れたときの代替

t検定が正確に機能するための前提は、(1) 観測が互いに独立であること、(2) 標本抽出のもとになる母集団の分布がおおよそ正規であること（標本が大きければ中心極限定理によりかなり緩和されます）、です。独立性の崩れ — 同じユーザーの複数回の記録を独立な観測とみなす、など — は最も深刻で、標本を増やしても直りません。分布の歪みや外れ値が激しく標本も小さい場合には、順位にもとづくノンパラメトリック検定（Mann-Whitney U検定など）が代替になります。また、比べる群が3つ以上になったらt検定の繰り返しではなく分散分析を使います。検定を繰り返すほど第一種の過誤（差がないのにあると誤る確率）が積み上がるからです。

有意差と実質的な差は別物

t検定の落とし穴として最後に強調したいのは、「有意差あり」は「意味のある大きさの差」を保証しないことです。標本を大きくすればどんな微小な差でもいずれ有意になります。平均0.1点の差が統計的に有意でも、実務上は無視してよいかもしれません。だからこそ、p値と併せて差の大きさそのものを効果量（Cohenのdなど）で報告し、信頼区間で差の推定幅を示すことが推奨されています。また、検出したい差に対して十分な標本サイズを事前に見積もる検出力の設計も、t検定を「使える道具」にするための重要な作法です。