階層ベイズモデル

概要

階層ベイズモデルは、データが持つグループ構造 — 学校ごとの生徒、店舗ごとの売上、患者ごとの繰り返し測定など — を、事前分布を階層的に重ねることで表現するベイズ推論のモデルです。各グループのパラメータ（例: 学校ごとの平均点）を別々に推定するのでもなく、全グループ共通の1つの値として推定するのでもなく、「グループごとのパラメータは、さらに上位の分布から生成された」と考えます。この上位の分布のパラメータをハイパーパラメータと呼びます。

この構造がもたらす最大の効果が「部分プーリング」です。データが少ないグループの推定値は全体平均の方向に引き寄せられ（縮小、shrinkage）、データが豊富なグループの推定値はそのグループ自身のデータを強く反映します。つまり「グループ間で情報を貸し借りする」推定が自動的に実現されるのです。マルチレベルモデル、混合効果モデルと呼ばれる手法も本質的には同じ発想で、教育統計・医療統計・マーケティングなど、グループ構造を持つデータの分析で広く標準的な道具になっています。

なぜ生まれたか

グループ構造を持つデータの分析には、古くから2つの素朴な選択肢がありました。1つはグループごとに完全に独立な推定を行うこと（プーリングなし）。しかしデータが数件しかないグループでは推定が極端にぶれ、「たまたま数人の点が良かった学校」が最優秀と判定されてしまいます。もう1つは全グループを1つにまとめて共通の値を推定すること（完全プーリング）。今度はグループ間の本物の差がすべて消えてしまいます。どちらの極端も現実に合わない — この板挟みが出発点でした。

転機の1つが1961年に示されたスタインのパラドックスです。3つ以上の平均を同時に推定するとき、各グループの標本平均をそのまま使うより、全体平均の方向に縮小した推定量のほうが全体としての誤差が必ず小さくなる、という直観に反する定理でした。エフロンとモリスはこれを「グループのパラメータ自体が分布に従う」というモデルからの推定として解釈し直し、縮小がトリックではなく合理的な情報共有であることを示しました。ベイズの枠組みでは、事前分布のパラメータにさらに事前分布を置くだけでこの構造が自然に書き下せます。かつては階層モデルの事後分布の計算が困難でしたが、1990年代以降のMCMCの実用化によって複雑な階層でも推論できるようになり、応用が一気に広がりました。

詳細

3層の構造 — データ・グループ・ハイパーパラメータ

典型的な階層ベイズモデルは3つの層でできています。最下層は観測データで、各グループのデータはそのグループのパラメータ θ から生成されると考えます。中間層はグループごとのパラメータ θ₁, θ₂, … で、これらは共通の上位分布（例: 平均 μ、標準偏差 τ の正規分布）から生成されたとみなします。最上層はその上位分布のハイパーパラメータ μ と τ で、ここに事前分布を置きます。ポイントは、τ が「グループ間のばらつきの大きさ」を表すパラメータであり、これ自体をデータから推定することです。

推論の結果、各 θ の事後分布は「そのグループ自身のデータが語る値」と「全グループから推定された全体像 μ」の重み付き折衷になります。重みはデータ量とグループ間のばらつき τ によって自動的に決まります。データが3件しかないグループ1の推定は μ の近くまで縮小され、300件あるグループ3の推定はほぼ自分のデータどおりになる — これが部分プーリングの中身です。

縮小はなぜ合理的か

「データが語る値をわざわざ歪めるのは不当ではないか」と感じるかもしれません。しかし少数データの標本平均は標準誤差が大きく、極端な値はたいてい「実力に偶然の上振れが乗ったもの」です。次の測定では平均方向に戻ることが予想されるので、あらかじめ全体平均の方向に引き寄せた推定のほうが予測として当たります。有名な例が野球の打率予測で、シーズン序盤の数十打席の打率をそのまま信じるより、リーグ全体の打率分布に向けて縮小した推定のほうが最終打率をよく当てることが実証されています。縮小の量が人手の調整ではなく、データから推定された τ で決まるという点が階層モデルの美点です。τ が大きい（グループ差が本当に大きい）と推定されれば縮小は弱まり、τ が小さければ完全プーリングに近づきます。

マルチレベルモデルと回帰への拡張

この考え方は回帰分析と自然に組み合わさります。たとえば「学校ごとに切片と傾きが異なる回帰」を考え、各校の切片・傾きが上位の分布から生成されたとモデル化する — これがマルチレベル（混合効果）回帰です。全校共通の1本の回帰線でも、学校ごとにバラバラの回帰線でもなく、その中間の「情報を共有した学校別回帰線」が得られます。地域・年齢・性別のように層が深い区分でセルごとのデータが疎になっても安定した推定ができるため、世論調査の小地域推定（MRPと呼ばれる手法）などでも中心的な役割を果たしています。同じ人を繰り返し測定した医療データや、標本抽出が多段（県→学校→生徒）になっている調査データも、この枠組みの得意分野です。

推定の実際と落とし穴

階層モデルの事後分布は、共役事前分布で閉じるごく単純な場合を除いて解析的に求まらないため、実務ではMCMCによるサンプリングで近似します。Stan や PyMC などの確率的プログラミング言語を使えば、階層構造をほぼ数式どおりにコードへ書き下し、推論は処理系に任せられます。各グループの推定値には信用区間が付き、「どのグループが本当に優れているのか」という問いに不確実性込みで答えられます。

落とし穴も知られています。グループ数が少ない（目安として5前後以下）と τ の推定が不安定になり、縮小の量が信頼できなくなります。また τ が小さいときにサンプラーが階層特有の「漏斗型」の事後分布にはまって動けなくなる問題があり、パラメータの持ち方を変える再パラメータ化（非中心化）で回避するのが定石です。さらに、縮小はあくまで「グループは交換可能 — どれも同じ上位分布から来た」という仮定に依存します。明らかに毛色の違うグループを同じ階層に混ぜると、不適切な方向への縮小が起きます。仮定が成り立つ範囲を見極めることが、階層モデルを使いこなす前提です。