ベイズ推論

概要

ベイズ推論は、ベイズの定理を推測の骨格に据えた統計的推論の枠組みです。知りたい母数（コインの表が出る確率、広告のクリック率など）について「データを見る前の信念」を確率分布として用意し、観測データが得られるたびにその分布を更新していきます。更新前の分布を事前分布、更新後の分布を事後分布と呼び、この一連の操作をベイズ更新といいます。

最大の特徴は、答えが一つの数値ではなく分布として返ってくることです。「クリック率の推定値は3.2%」で終わらせず、「3.2%あたりが最も確からしいが、2.5%から4.0%の間のどこかである確率が95%」というように、推定の不確かさそのものを持ち歩けます。またデータが増えるたびに事後分布を次の事前分布として使い回せるため、逐次的にデータが届く状況と相性が抜群です。

スパムフィルタ、A/Bテストの判断、医療診断、機械学習のモデルまで、「手持ちの知識を新しい証拠で更新する」場面のあらゆるところでこの枠組みが働いています。頻度主義とベイズ主義という対立軸のベイズ側を、実際に動く手続きにしたものがベイズ推論です。

なぜ生まれたか

推測統計の主流だった頻度主義の道具立て（最尤法による点推定と仮説検定）には、実務でしばしば困る場面がありました。まず、答えが点推定と検定の二値的な判断に寄りがちで、「どれくらい確からしいのか」という不確かさの全体像が見えにくいこと。次に、データが少ないと推定が暴れるのに、「この値は経験上5%前後のはずだ」といった事前知識を形式的に取り込む口がないこと。そしてデータが逐次届く状況で、届くたびに最初から推定をやり直すほかないことです。

ベイズ推論はこれらを一つの原理で解決します。事前知識は事前分布として明示的に入力し、データの証拠は尤度（そのデータが観測される確からしさ）として取り込み、ベイズの定理で掛け合わせて事後分布を得る。不確かさは分布の広がりとして自動的に表現され、逐次更新は「今日の事後分布を明日の事前分布にする」だけで済みます。枠組み自体は18世紀のベイズと19世紀のラプラスに遡りますが、事後分布の計算（正規化のための積分）が複雑なモデルでは手に負えず、長らく理論倒れでした。20世紀末にMCMCと計算機がこの計算問題を解決したことで、ようやく汎用の実用技術になったという経緯があります。

詳細

更新の仕組み — 事後は尤度と事前の掛け算

ベイズ更新の中身は一行で言えます。「事後分布は、尤度と事前分布の積に比例する」。事前分布が母数θの各値に置いた確からしさを、観測データがθの各値のもとでどれくらい起こりやすいか（尤度）で重み付けし直し、全体が確率として足し合わせて1になるよう正規化したものが事後分布です。条件付き確率の言葉でいえば、事後分布とは「データを条件としたときのθの条件付き分布」にほかなりません。

たとえば新しいコインの表が出る確率θを知りたいとします。事前には「たぶん0.5前後だろう」というゆるい山型の分布を置く。10回投げて7回表が出たら、θ=0.7付近の尤度が高いので、事後分布は0.5と0.7の間、やや0.7寄りに山を移した形になります。データがわずか10回なら事前の影響が残り、1000回投げれば尤度が支配して事前の形はほとんど消える — データ量に応じて事前知識と証拠のバランスが自動的に取れるのが、この掛け算の美点です。

事後分布から答えを取り出す

事後分布はそれ自体が答えですが、報告や意思決定のために要約もできます。分布の平均を取れば事後平均、最も高い点を取ればMAP推定（事後確率最大化）という点推定になり、分布の中央95%を切り出せば「θがこの範囲にある確率は95%」と読める信用区間になります。さらに「θが0.5を超える確率は97%」のような、意思決定に直結する確率も事後分布から直接計算できます。詳しい入口と出口の性質は事前分布と事後分布で扱います。

最尤法との関係

最尤法は「尤度が最大になるθを選ぶ」手法でした。ベイズ推論で完全に平坦な事前分布を置くと、事後分布の形は尤度そのものになり、MAP推定は最尤推定と一致します。つまり最尤法は「事前知識を一切入れないベイズ推定の点要約」とみなせる特殊な場合であり、両者は対立する別物というより連続的な関係にあります。逆にいえば、ベイズ推論の追加装備は「事前分布」と「点ではなく分布で答える姿勢」の二つだ、と整理できます。

計算をどう乗り越えるか

事後分布の正規化には「尤度×事前をθの全域で足し合わせる（積分する）」計算が必要で、これがベイズ推論の歴史的な難所でした。実用上の突破口は三つあります。第一に、事後分布が事前分布と同じ族に収まるよう設計する共役事前分布を使えば、更新が閉じた式（パラメータの足し算）になります。第二に、積分を諦めて事後分布からの乱数サンプリングで近似するMCMCは、ほぼ任意のモデルに適用できる汎用解です。第三に、モデルを書けば推論エンジンが後を引き受ける確率的プログラミングの登場で、複雑な階層モデルも実務の射程に入りました。

落とし穴

ベイズ推論の説明責任は事前分布に集中します。データが少ないときほど事前の影響が大きいため、恣意的な事前分布は恣意的な結論を生みます。実務では、極端に強い事前を避けて弱情報事前（ゆるい制約だけ課す分布）を使う、事前分布を変えて結論の頑健性を確かめる感度分析を行う、という作法が標準です。また事後分布が数値計算（MCMC）で得られている場合は、サンプリングが収束しているかの診断を省かないこと。「分布で答えられる」強力さは、入力と計算の質に対する丁寧さとセットで初めて信頼に足るものになります。