シンプソンのパラドックス
Simpson's Paradox ・ しんぷそんのぱらどっくす
全体と層別で傾向が逆転する現象。集計の切り方が結論を覆すことを示す
概要
シンプソンのパラドックスは、データ全体で見た傾向と、グループ（層）ごとに分けて見た傾向が逆転してしまう現象です。「治療Aのほうが全体の治癒率は高いのに、軽症患者だけで比べても重症患者だけで比べても治療Bのほうが高い」— 一見ありえないようですが、算術的にはごく普通に起こります。
からくりの正体は、グループの構成比の偏りです。たとえば治療Bが重症患者に多く割り当てられていれば、Bの全体成績は「重症の治りにくさ」に引きずられて低く見えます。層別すればBが勝つのに、混ぜて集計するとAが勝つ — 集計の切り方ひとつで結論が反転するのです。
このパラドックスが教えてくれるのは、「どちらの集計が正しいか」は数字だけでは決まらないということです。答えを決めるのはデータの背後にある因果構造 — つまり交絡の有無です。シンプソンのパラドックスは、因果推論の必要性を最も鮮やかに示す教材として、統計学の入り口に置かれ続けています。
なぜ生まれたか
分割表の集計で関連の向きが反転しうることは20世紀初頭から知られていましたが、1951年にシンプソンが「層別と統合で結論が食い違うとき、どちらを信じるべきかは表だけからは決められない」と定式化したことで、単なる算術の珍現象から統計学の根本問題へと格上げされました。当時の統計学は相関や分割表の関連を測る道具は持っていましたが、「正しい集計単位を選ぶ」ための理論を持っていなかったのです。
この問題を現実に突きつけたのが、1973年のカリフォルニア大学バークレー校の大学院入試です。全体集計では男性の合格率が女性を大きく上回り、性差別が疑われました。ところが学科ごとに層別すると、多くの学科でむしろ女性の合格率のほうが高い。実際には、女性が競争率の高い学科に多く出願していたため、全体集計で不利に見えていただけでした。同じデータが「差別あり」とも「差別なし」とも読める — この衝撃が、集計の背後の因果構造を明示的に扱う理論（後の因果ダイアグラム）の発展を後押ししました。
詳細
数字で見る逆転
架空の治療データで確かめます。治療Aは軽症80人中72人が治癒（90%）、重症20人中6人が治癒（30%）。治療Bは軽症20人中19人が治癒（95%）、重症80人中32人が治癒（40%）。層別ではどちらの層でもBが勝っています（95%対90%、40%対30%）。しかし全体では、Aは100人中78人（78%）、Bは100人中51人（51%）で、Aの圧勝に見えます。Bが「治りにくい重症患者」を8割も受け持っているため、全体集計がBに不利に歪んだのです。
なぜ起こるのか — 加重平均の偏り
全体の治癒率は、各層の治癒率を「その層の人数」で重み付けした加重平均です。層ごとの比較では公平でも、AとBで重みのかけ方（軽症と重症の構成比）が大きく異なれば、加重平均どうしの比較は公平ではなくなります。つまりシンプソンのパラドックスは神秘的な現象ではなく、「異なる重みで平均した数字を並べて比べた」ことの帰結です。クロス集計で層別の内訳と各セルの件数を確認すれば、逆転の兆候は必ず数字に現れています。
層別の治癒率はそのままに、重症患者の割り当てだけを動かして、全体の順位が入れ替わる瞬間を実際に確かめてみてください。
逆転が起きています。層別ではどちらもBが上なのに、Bが重症患者を80人（Aは20人）受け持っているため、全体集計はAが上に見えます。2本のスライダーを近づけて、逆転が消える瞬間を探してみてください。
どちらの集計を信じるべきか
ここが本当に重要な論点です。答えは「常に層別が正しい」でも「常に全体が正しい」でもなく、データを生んだ因果構造によって変わります。治療の例では、重症度は治療選択より前に決まり、治療と結果の両方に影響する交絡因子です。この場合は層別が正しく、Bが優れているという結論を採るべきです。ところが、層別に使った変数が「処置の結果として変化する中間変数」である場合 — たとえば薬の効果が血圧低下を経由して表れるのに血圧で層別する場合 — は、層別すると効果の通り道を塞いでしまい、むしろ全体集計のほうが正しくなります。同じ「逆転する表」でも、正解の集計が正反対になるのです。
この判定は表の数字からは決してできず、因果ダイアグラムで変数の関係を描いて初めて可能になります。シンプソンのパラドックスが「統計のパズル」を超えて重要なのは、「データは自らの正しい読み方を語らない。読み方は因果の知識が決める」という事実を突きつけるからです。
実務での現れ方
このパラドックスは教科書の中だけの話ではありません。A/Bテストで期間の途中から割り当て比率を変えたために、日別では勝っていた施策が通算で負けて見える。プロダクト全体の平均評価は下がったのに、新規ユーザー・既存ユーザーそれぞれでは上がっている（構成比が新規に偏っただけ)。部門別では全部門で改善しているのに全社集計では悪化して見える。いずれも構成比の変化が集計をねじる、同じ構造です。
対策はシンプルで、(1) 集計値を比較するときは必ず主要な層で切って内訳を確認する、(2) 群ごとの構成比が揃っているかを見る、(3) 逆転が起きたら「層別変数は交絡因子か中間変数か」を因果構造で判断する、の3点です。そもそもランダム化比較試験のように割り当てを無作為化していれば構成比の偏り自体が生じにくく、パラドックスの多くは予防できます。