事前分布と事後分布
Prior and Posterior Distribution ・ じぜんぶんぷとじごぶんぷ
データを見る前の信念と見た後の信念。ベイズ更新の入口と出口を成す分布
✦ 30秒で試す — 航海同じ10回のコイン投げでも、先入観しだいで結論が変わる100回投げた後、2人の見積もりの差は？予想してみる概要
事前分布と事後分布は、ベイズ推論の入口と出口を成す一対の確率分布です。知りたい母数θ（コインの表の出やすさ、機械の故障率など）について、データを見る前に持っている確からしさの見立てを分布として表したものが事前分布（prior）、観測データの証拠を取り込んで更新した後の見立てが事後分布（posterior）です。
両者をつなぐのがベイズの定理です。事前分布に尤度（θの各値のもとでそのデータが観測される確からしさ）を掛けて正規化すると事後分布が得られる——この一回の変換が「ベイズ更新」で、ベイズ統計のすべての計算はこの入口と出口の往復として書けます。事後分布は単なる中間生成物ではなく、それ自体が推定の最終回答です。山の位置が「最も確からしい値」を、山の幅が「どれくらい自信がないか」を同時に語ります。
さらに重要なのは、この一対がリレーのように連鎖することです。今日の事後分布は、明日新しいデータが届いたときの事前分布になります。「信念を証拠で更新し続ける」というベイズ的な学習観は、この事前→事後→事前…という循環そのものです。
なぜ生まれたか
もともとの確率の計算は「原因から結果へ」の一方通行でした。コインの偏りが分かっていれば、10回中7回表が出る確率は計算できる。しかし現実の推測はいつも逆向きです。表が7回出たという結果から、コインの偏りという原因を語りたい。18世紀のベイズと19世紀のラプラスが取り組んだこの「逆確率」の問題は、原因の側にも確率分布を与えなければ式が立たない、という構造をしていました。結果から原因を推し量るには、「データを見る前に原因の各候補をどれくらい確からしいと見ていたか」の申告——すなわち事前分布——が論理的に必要だったのです。
事前分布は長らく「主観の混入」と批判され、これを避ける形で頻度主義の統計学が主流になりました（頻度主義とベイズ主義）。しかし見方を変えれば、事前分布は「どんな仮定から出発したか」を数式として明示する装置でもあります。頻度主義の手法にも暗黙の仮定は潜んでいますが、事前分布はそれを表に出して吟味や更新の対象にできる。この「仮定の明文化」と「事後分布という不確かさ込みの回答形式」の価値が計算技術の進歩とともに再評価され、現在の地位に至っています。
詳細
更新で分布はどう動くか
ベイズ更新の振る舞いは、事前分布・尤度・事後分布の3本の曲線を重ねると一目で掴めます。下の図は、コインの表の確率θについて「たぶん0.5前後」という事前分布 Beta(6, 6) を置き、10回中7回表というデータを得た場面です。尤度はθ=0.7で最大になり、事後分布は事前の中心0.5と尤度の山0.7の間、0.6に山を立てます。この例では事後分布が事前分布よりも尤度よりも鋭くなっていますが、これは「二つの独立した情報源が同じあたりを指している」ときの典型的な姿です。
計算の中身は「事後 ∝ 尤度 × 事前」という掛け算です。θの各値ごとに、事前の高さと尤度の高さを掛ける。事前分布が高い値を置いていても尤度がほぼゼロなら事後はゼロに近づき、逆もまた然り。両者がともに認める範囲だけが事後分布として生き残ります。掛けた後に全体の面積が1になるよう割り戻す正規化が必要で、この割り算のための積分こそがベイズ計算の実務上の難所です（解決策は共役事前分布やMCMCの項で扱います）。
下の部品では、上段の7つの丸を上下に動かして事前分布の形を自由に描けます（放すと面積が1に揃います）。「表」「裏」でデータを足すと尤度（青緑）が現れ、事後分布（金）は事前を曲げている最中もその場で追従します。データが少ないうちは事前の形に事後が振り回され、100回ぶん足すとどう曲げてもほとんど動かなくなることを確かめてみてください。
上の7つの丸を上下に動かして、コインの表の出やすさ p についての事前の見立てを描いてください（放すと面積が1に揃います）。それから「表」「裏」でデータを足します。
上: 事前分布（丸をつかんで形を描く）。下: 事前 × 尤度 を面積1に揃えたものが事後分布
事後は必ず狭くなるのか
「証拠を得た分だけ確信が増すので、事後は事前より必ず狭い」と説明されることがありますが、正確ではありません。事前が「θは0.2付近だ」と強く主張しているところへ、θ=0.8を強く支持するデータが来ると、事後は両者の綱引きで山が崩れ、事前より広くなることがあります。上の部品で「偏っていると疑う」の二山の事前を選び、データを少し足すと、事後が二山のまま揺れる様子が見られます。成り立つのは「平均的には狭くなる」という性質です。事後分散をデータの出方について平均すると、事前分散を超えることはありません（全分散の公式からの帰結）。つまり事後が広がったときは、事前とデータが食い違っているという警告として読むのが正しい態度です。
事前分布の選び方 — 情報的・無情報・弱情報
事前分布には強さの匙加減があります。過去の実験や専門知識を積極的に反映した狭い分布は「情報的事前」、θについて何も主張しないことを目指す平坦な分布は「無情報事前」と呼ばれます。ただし完全な無情報は意外と難しく、θの表し方を変えると平坦さが崩れるという古典的な問題があります。たとえば成功率θに一様分布を置くことと、対数オッズ log(θ/(1−θ)) に一様分布を置くことは別の主張です。実務でよく選ばれるのは中間の「弱情報事前」で、「クリック率が99%ということはまずない」程度のゆるい常識だけを課し、推定の暴走を防ぎつつデータに語らせます。0から1の値をとる比率の母数には、形を柔軟に選べるベータ分布が定番の事前分布です。
事前分布でいちばん危険なのは、ある値を**確率0で排除する**ことです。事前が0の場所は、尤度をいくら掛けても0のままで、どれほど強い証拠が来ても復活しません。上の部品で右側の丸を2つ底まで下げてからデータを足すと、事後分布がその区間でぷっつり途切れるのが見えます。「絶対にありえない」と言い切れない値には、小さくても正の確率を残しておく——これは「クロムウェルの法則」と呼ばれる実務上の鉄則です。
データが増えると事前は薄れる
事前分布の影響力はデータ量に応じて薄れていきます。データが10件なら事後分布は事前に強く引っ張られますが、1万件あれば尤度が圧倒的に鋭くなり、事前が0を置いていない限り、多少違っても事後分布はほぼ同じ形に収束します。これは「出発点の信念が違う人どうしも、十分な証拠を共有すれば同じ結論に近づく」という直感の数学的な表現で、最尤推定と大標本でほぼ一致する理由でもあります。裏を返せば、事前分布の吟味が本当に効くのは小標本のときであり、そこでこそ感度分析（事前を変えて事後の変化を見る）を怠らないことが大切です。
事後分布は次の事前分布になる
ベイズ更新の美しい性質は、逐次性です。データが互いに独立なら、100件まとめて更新しても、1件ずつ100回更新しても、得られる事後分布は同じになります。だからストリームで届くデータに対して「昨日の事後分布を今日の事前分布として使う」運用が理論的に正当化されます。スパムフィルタ（ナイーブベイズ）が新しいメールを学び続けたり、A/Bテストの判断を日次で更新したりできるのはこの性質のおかげです。事後分布の要約（点推定や信用区間への切り出し）はいつでもできるので、「分布のまま持ち歩き、必要なときだけ要約する」のがベイズ流の作法です。
試問
コインの表が出る確率 p について、データを見る前の見立て（事前分布）を上段の7つの丸で描き、「表 +1」「裏 +1」（または「表7・裏3 にする」）でデータを入れると、下段にデータで更新した見立て（事後分布）が出ます。事後平均は、その事後分布から見た p の推定値です（「データを消す」でやり直せます）。
上の7つの丸を上下に動かして、コインの表の出やすさ p についての事前の見立てを描いてください（放すと面積が1に揃います）。それから「表」「裏」でデータを足します。
上: 事前分布（丸をつかんで形を描く）。下: 事前 × 尤度 を面積1に揃えたものが事後分布