同時分布と周辺分布

概要

同時分布は、2つ以上の確率変数を「セットで」記述する確率分布です。たとえば「ある日の天気」と「傘の売上」のように、複数の量が同時に観測される場面では、「晴れ かつ 売上が少ない」「雨 かつ 売上が多い」といった組み合わせごとの確率を並べたものが同時分布になります。個々の変数を別々に見ていては分からない「組み合わせの偏り」、つまり変数どうしの関係の情報を丸ごと持っているのが同時分布です。

周辺分布は、その同時分布から片方の変数だけを取り出した分布です。同時分布の表で相手側の変数を全パターン足し合わせる（周辺化する）と、「天気だけの分布」「売上だけの分布」が得られます。表の周辺（マージン）に合計を書き込むことから、この名が付きました。

同時分布・周辺分布・条件付き確率の3つは、多変量の確率を扱うときの基本の語彙セットです。「全体の組み合わせ」「片方だけ」「片方を固定したときのもう片方」— この3つの視点を行き来できるようになることが、確率で関係性を考える第一歩になります。

なぜ生まれたか

確率論の初期の題材はサイコロやくじ引きなど、1つの量のばらつきでした。しかし現実の問いの多くは「2つの量の関係」の形をしています。喫煙と病気、広告と売上、身長と体重 — 関係を確率の言葉で語るには、1変数の分布を2つ並べるだけでは足りません。「喫煙者の割合」と「病気の人の割合」を別々に知っていても、「喫煙していて かつ 病気」という組み合わせの起こりやすさは分からないからです。

そこで、組み合わせそのものに確率を割り当てる同時分布という枠組みが必要になりました。同時分布さえあれば、そこから周辺化で各変数単独の分布が、割り算で条件付き分布が導けます。逆は成り立ちません — 周辺分布をいくら集めても同時分布は復元できない。この「同時分布が一番情報を持っている」という非対称性こそ、この概念の区別が必要になった理由です。独立性や相関といった「関係の有無」の議論はすべて、同時分布と周辺分布のずれを測ることで初めて定式化できました。

詳細

クロス集計表として見る

離散的な変数の同時分布は、クロス集計の表とまったく同じ形をしています。行に一方の変数、列にもう一方の変数を取り、各セルに「その組み合わせが起こる確率」を書き込む。全セルの合計は必ず1です。そして行ごと・列ごとの合計欄が、そのまま周辺分布になります。

この表から読み取れることを整理します。「晴れ かつ 売上が少ない」が0.50 — これが同時確率です。右端の合計列（0.60と0.40）は天気だけの周辺分布、下端の合計行（0.55と0.45）は売上だけの周辺分布です。周辺分布を求める操作 —「興味のない変数の全パターンについて確率を足し合わせて消す」— を周辺化と呼びます。連続的な変数なら足し算の代わりに積分になりますが、発想は同じです。

周辺分布だけでは関係が見えない

重要なのは、逆方向の再構成ができないことです。上の例で周辺分布だけ、つまり「晴れが60%、売上少が55%」しか分からないとします。このとき「晴れ かつ 売上少」の確率は0.50かもしれないし、もし2つが無関係なら 0.60 × 0.55 = 0.33 かもしれません。周辺が同じでも中身のセル配分は無数にありえます。同時分布と「周辺分布の掛け算」のずれこそが変数間の関係の正体で、ずれがまったく無い状態 — すべてのセルで同時確率が周辺確率の積に一致する状態 — が独立性の定義です。

このずれを1つの数値に要約したものが共分散や相関です。共分散は同時分布から計算される量であり、周辺分布だけからは決して求められません。「関係を語るには同時分布が必要」という原則が、ここでも効いています。

条件付き分布との関係

同時分布を周辺確率で割ると、条件付き確率の分布が得られます。上の例で「雨と分かったときの売上の分布」は、雨の行（0.05と0.35）を雨の周辺確率0.40で割って、「少ない12.5% / 多い87.5%」となります。逆に、条件付き分布と周辺分布を掛ければ同時分布を組み立てられます。この「同時 = 条件付き × 周辺」という分解は確率の乗法定理そのもので、ベイズの定理は同じ同時分布を2通りに分解して等号で結んだものと読めます。

実務での使いどころと落とし穴

統計モデリングや機械学習の多くは、実は同時分布の推定か、その分解の工夫です。ナイーブベイズ分類器は同時分布を「独立と仮定して周辺の積で近似する」手法ですし、ベイジアンネットワークは巨大な同時分布を条件付き分布の積に分解して扱いやすくする枠組みです。連続変数どうしなら、散布図は同時分布からの標本を、そのx軸・y軸への影絵が周辺分布を可視化したものと見ることができます。

落とし穴として有名なのが、周辺だけを見ることによる錯覚です。集団全体（周辺）では成り立つ傾向が、層別した条件付きの見方では逆転するシンプソンのパラドックスはその代表例で、周辺分布と条件付き分布は別物であることを忘れると誤った結論に至ります。データを見るときは「この数字は同時・周辺・条件付きのどれを見ているのか」を常に意識することが、この語彙を学ぶ実践的なご利益です。