同時分布と周辺分布
Joint and Marginal Distributions ・ どうじぶんぷとしゅうへんぶんぷ
複数の確率変数をまとめて記述する分布と、片方だけ取り出した分布の関係
✦ 30秒で試す — 航海天気の割合も売上の割合も同じまま、関係だけを逆にできる雨の日だけを見ると、傘が多く売れる日の割合は？予想してみる概要
同時分布は、2つ以上の確率変数を「セットで」記述する確率分布です。たとえば「ある日の天気」と「傘の売上」のように、複数の量が同時に観測される場面では、「晴れ かつ 売上が少ない」「雨 かつ 売上が多い」といった組み合わせごとの確率を並べたものが同時分布になります。個々の変数を別々に見ていては分からない「組み合わせの偏り」、つまり変数どうしの関係の情報を丸ごと持っているのが同時分布です。
周辺分布は、その同時分布から片方の変数だけを取り出した分布です。同時分布の表で相手側の変数を全パターン足し合わせる（周辺化する）と、「天気だけの分布」「売上だけの分布」が得られます。表の周辺（マージン）に合計を書き込むことから、この名が付きました。
同時分布・周辺分布・条件付き確率の3つは、多変量の確率を扱うときの基本の語彙セットです。「全体の組み合わせ」「片方だけ」「片方を固定したときのもう片方」— この3つの視点を行き来できるようになることが、確率で関係性を考える第一歩になります。
なぜ生まれたか
確率論の初期の題材はサイコロやくじ引きなど、1つの量のばらつきでした。しかし現実の問いの多くは「2つの量の関係」の形をしています。喫煙と病気、広告と売上、身長と体重 — 関係を確率の言葉で語るには、1変数の分布を2つ並べるだけでは足りません。「喫煙者の割合」と「病気の人の割合」を別々に知っていても、「喫煙していて かつ 病気」という組み合わせの起こりやすさは分からないからです。
そこで、組み合わせそのものに確率を割り当てる同時分布という枠組みが必要になりました。同時分布さえあれば、そこから周辺化で各変数単独の分布が、割り算で条件付き分布が導けます。逆は成り立ちません — 周辺分布をいくら集めても同時分布は復元できない。この「同時分布が一番情報を持っている」という非対称性こそ、この概念の区別が必要になった理由です。独立性や相関といった「関係の有無」の議論はすべて、同時分布と周辺分布のずれを測ることで初めて定式化できました。
詳細
クロス集計表として見る
離散的な変数の同時分布は、クロス集計の表とまったく同じ形をしています。行に一方の変数、列にもう一方の変数を取り、各セルに「その組み合わせが起こる確率」を書き込む。全セルの合計は必ず1です。そして行ごと・列ごとの合計欄が、そのまま周辺分布になります。
この表から読み取れることを整理します。「晴れ かつ 売上が少ない」が0.50 — これが同時確率です。右端の合計列（0.60と0.40）は天気だけの周辺分布、下端の合計行（0.55と0.45）は売上だけの周辺分布です。周辺分布を求める操作 —「興味のない変数の全パターンについて確率を足し合わせて消す」— を周辺化と呼びます。連続的な変数なら足し算の代わりに積分になりますが、発想は同じです。
周辺分布だけでは関係が見えない
重要なのは、逆方向の再構成ができないことです。上の例で周辺分布だけ、つまり「晴れが60%、売上少が55%」しか分からないとします。このとき「晴れ かつ 売上少」の確率は0.50かもしれないし、もし2つが無関係なら 0.60 × 0.55 = 0.33 かもしれません。周辺が同じでも中身のセル配分は無数にありえます。同時分布と「周辺分布の掛け算」のずれこそが変数間の関係の正体で、ずれがまったく無い状態 — すべてのセルで同時確率が周辺確率の積に一致する状態 — が独立性の定義です。
下の部品は、天気（晴れ・曇り・雨）と傘の売上（少・中・多）の3×3の同時分布です。マスの金色の正方形の面積が同時確率、破線の枠が「2つが無関係なら（周辺の積なら）こうなるはず」という大きさを表します。「依存を消す」を押すと、同時分布が周辺の積へと変形しますが、右と下の周辺分布の棒はまったく動きません。同じ周辺分布を持つ、まったく違う2つの同時分布がある — これが「周辺から同時は復元できない」の意味です。
9マスの金色の面積が同時確率（合計1）。右の棒は行の合計 = 天気だけの分布、下の棒は列の合計 = 売上だけの分布です。破線の枠は「もし独立なら」の大きさ。マスを押し続けると、そのマスの確率が増えます。
金色の正方形の面積 = 同時確率 P(天気, 売上)。破線の枠 = 周辺の積 P(天気)×P(売上)。右・下の棒 = 周辺分布
このずれを1つの数値に要約したものが共分散や相関です。共分散は同時分布から計算される量であり、周辺分布だけからは決して求められません。「関係を語るには同時分布が必要」という原則が、ここでも効いています。
条件付き分布との関係
同時分布を周辺確率で割ると、条件付き確率の分布が得られます。上の例で「雨と分かったときの売上の分布」は、雨の行（0.05と0.35）を雨の周辺確率0.40で割って、「少ない12.5% / 多い87.5%」となります。逆に、条件付き分布と周辺分布を掛ければ同時分布を組み立てられます。この「同時 = 条件付き × 周辺」という分解は確率の乗法定理そのもので、ベイズの定理は同じ同時分布を2通りに分解して等号で結んだものと読めます。
周辺化はベイズ統計でも中心的な操作です。「データとパラメータの同時分布」からパラメータを積分して消すと、「そのモデルのもとでこのデータが得られる確率」（周辺尤度）が得られます。2つのモデルの周辺尤度の比が、モデル比較に使われるベイズファクターです。
実務での使いどころと落とし穴
統計モデリングや機械学習の多くは、実は同時分布の推定か、その分解の工夫です。ナイーブベイズ分類器は、多数の特徴量の同時分布を「クラスが分かった条件の下では独立」と仮定して、条件付きの周辺分布の積で近似する手法です。ベイジアンネットワークは、巨大な同時分布を「親が分かった下での条件付き分布」の積に分解して扱いやすくする枠組みで、その矢印の構造を因果の向きとして読むのが因果ダイアグラムです。変数が10個・各3値でも同時分布のマスは 3^10 = 59049 個に膨らむので、何らかの分解の仮定なしには推定すらできません。連続変数どうしなら、散布図は同時分布からの標本を、そのx軸・y軸への影絵が周辺分布を可視化したものと見ることができます。
落とし穴として有名なのが、周辺だけを見ることによる錯覚です。集団全体（周辺）では成り立つ傾向が、層別した条件付きの見方では逆転するシンプソンのパラドックスはその代表例で、周辺分布と条件付き分布は別物であることを忘れると誤った結論に至ります。もうひとつの落とし穴は、別々に集めた周辺の情報から組み合わせを推測してしまうことです。「顧客の60%が男性、40%がプレミアム会員」という2つの集計から「男性のプレミアム会員は24%」と掛け算で出すのは、性別と会員種別が独立だと勝手に仮定したのと同じです。組み合わせの割合を知りたいなら、クロス集計で同時分布を直接数えるしかありません。データを見るときは「この数字は同時・周辺・条件付きのどれを見ているのか」を常に意識することが、この語彙を学ぶ実践的なご利益です。
試問
ある店の日々を、天気（晴れ・曇り・雨）× 傘の売上（少・中・多）の9通りに分け、それぞれが起こる確率を並べた表です。マスの金色の面積がその組み合わせの確率（同時確率）、右と下の棒は行・列の合計で、天気だけ・売上だけの分布（周辺分布）を表します。最初の表は「雨の日ほど傘が売れる」関係です。マスを押して（増やす／減らすを切り替えて）中身を配り直してください。
9マスの金色の面積が同時確率（合計1）。右の棒は行の合計 = 天気だけの分布、下の棒は列の合計 = 売上だけの分布です。破線の枠は「もし独立なら」の大きさ。マスを1回押すごとに、そのマスの確率が 0.05 増えます（または減ります）。
金色の正方形の面積 = 同時確率 P(天気, 売上)。破線の枠 = 周辺の積 P(天気)×P(売上)。右・下の棒 = 周辺分布