事前分布と事後分布
Prior and Posterior Distribution ・ じぜんぶんぷとじごぶんぷ
データを見る前の信念と見た後の信念。ベイズ更新の入口と出口を成す分布
概要
事前分布と事後分布は、ベイズ推論の入口と出口を成す一対の確率分布です。知りたい母数θ（コインの表の出やすさ、機械の故障率など）について、データを見る前に持っている確からしさの見立てを分布として表したものが事前分布（prior）、観測データの証拠を取り込んで更新した後の見立てが事後分布（posterior）です。
両者をつなぐのがベイズの定理です。事前分布に尤度（θの各値のもとでそのデータが観測される確からしさ)を掛けて正規化すると事後分布が得られる — この一回の変換が「ベイズ更新」で、ベイズ統計のすべての計算はこの入口と出口の往復として書けます。事後分布は単なる中間生成物ではなく、それ自体が推定の最終回答です。山の位置が「最も確からしい値」を、山の幅が「どれくらい自信がないか」を同時に語ります。
さらに重要なのは、この一対がリレーのように連鎖することです。今日の事後分布は、明日新しいデータが届いたときの事前分布になります。「信念を証拠で更新し続ける」というベイズ的な学習観は、この事前→事後→事前…という循環そのものです。
なぜ生まれたか
もともとの確率の計算は「原因から結果へ」の一方通行でした。コインの偏りが分かっていれば表が7回出る確率は計算できる。しかし現実の推測はいつも逆向きです。表が7回出たという結果から、コインの偏りという原因を語りたい。18世紀のベイズと19世紀のラプラスが取り組んだこの「逆確率」の問題は、原因の側にも確率分布を与えなければ式が立たない、という構造をしていました。結果から原因を推し量るには、「データを見る前に原因の各候補をどれくらい確からしいと見ていたか」の申告 — すなわち事前分布 — が論理的に必要だったのです。
事前分布は長らく「主観の混入」と批判され、これを避ける形で頻度主義の統計学が主流になりました。しかし見方を変えれば、事前分布は「どんな仮定から出発したか」を数式として明示する装置でもあります。頻度主義の手法にも暗黙の仮定は潜んでいますが、事前分布はそれを表に出して吟味や更新の対象にできる。この「仮定の明文化」と「事後分布という不確かさ込みの回答形式」の価値が計算技術の進歩とともに再評価され、現在の地位に至っています。
詳細
更新で分布はどう動くか
ベイズ更新の振る舞いは、事前分布・尤度・事後分布の3本の曲線を並べると一目で掴めます。事前分布はデータを見る前の見立てなので広くなだらか、尤度は観測データが支持するθの範囲を示し、事後分布はその二つの「重なり」に山を立てます。事後分布の山は事前と尤度の間、データが多いほど尤度側に寄り、幅は必ず事前より狭くなる（証拠を得た分だけ確信が増す）のが典型的な姿です。
計算の中身は「事後 ∝ 尤度 × 事前」という掛け算です。事前分布が高い値を置いていても、尤度がほぼゼロなら事後はゼロに近づき、逆もまた然り。両者がともに認める範囲だけが事後分布として生き残ります。掛けた後に全体の面積が1になるよう割り戻す正規化が必要で、この割り算のための積分こそがベイズ計算の実務上の難所です（解決策は共役事前分布やMCMCの項で扱います）。
事前の見立てを決めてから偏ったコインを実際に投げ、3本の曲線がどう動くかを確かめてみてください。
まだデータがありません。灰色の事前分布だけの状態です。スライダーで「見立て」と「その自信」を決めてから、コインを投げてみてください（コインの本当の表率は隠されています）。
事前分布の選び方 — 情報的・無情報・弱情報
事前分布には強さの匙加減があります。過去の実験や専門知識を積極的に反映した狭い分布は「情報的事前」、θについて何も主張しないことを目指す平坦な分布は「無情報事前」と呼ばれます。ただし完全な無情報は意外と難しく、θの表し方（スケール）を変えると平坦さが崩れるという古典的な問題があります。実務でよく選ばれるのは中間の「弱情報事前」で、「クリック率が99%ということはまずない」程度のゆるい常識だけを課し、推定の暴走を防ぎつつデータに語らせます。たとえば0から1の値をとる比率の母数には、形を柔軟に選べるベータ分布が定番の事前分布です。
データが増えると事前は薄れる
事前分布の影響力はデータ量と反比例します。データが10件なら事後分布は事前に強く引っ張られますが、1万件あれば尤度が圧倒的に鋭くなり、多少事前が違っても事後分布はほぼ同じ形に収束します。これは「出発点の信念が違う人どうしも、十分な証拠を共有すれば同じ結論に近づく」という直感の数学的な表現で、最尤法による推定と大標本でほぼ一致する理由でもあります。裏を返せば、事前分布の吟味が本当に効くのは小標本のときであり、そこでこそ感度分析（事前を変えて事後の変化を見る）を怠らないことが大切です。
事後分布は次の事前分布になる
ベイズ更新の美しい性質は、逐次性です。データを100件まとめて更新しても、1件ずつ100回更新しても、得られる事後分布は同じになります。だからストリームで届くデータに対して「昨日の事後分布を今日の事前分布として使う」運用が理論的に正当化されます。スパムフィルタが新しいメールを学び続けたり、A/Bテストの判断を日次で更新したりできるのはこの性質のおかげです。事後分布の要約（点推定や信用区間への切り出し）はいつでもできるので、「分布のまま持ち歩き、必要なときだけ要約する」のがベイズ流の作法です。