多変量正規分布
Multivariate Normal Distribution ・ たへんりょうせいきぶんぷ
複数の変数をまとめて扱う正規分布。相関構造を共分散行列で表現する
✦ 30秒で試す — 航海片方の値がわかると、もう片方のばらつきが縮むYの幅を半分に絞るには、相関はどれだけ要る？予想してみる概要
多変量正規分布は、正規分布を複数の変数へ拡張した確率分布です。身長と体重、気温とアイスの売上、複数銘柄の株価収益率——現実のデータはたいてい複数の量が連動して動きます。多変量正規分布は、そうした「変数の組」をひとまとまりのベクトルとして扱い、それぞれのばらつきだけでなく、変数どうしの連動の仕方まで含めて1つの分布で表します。
1変数の正規分布が平均 μ と標準偏差 σ の2つで決まったように、多変量正規分布は「平均ベクトル」（各変数の中心）と「共分散行列」（各変数の分散と、変数ペアごとの共分散を並べた表）の2つで完全に決まります。2変数の場合、密度を高さにすると1つの山になり、その山を上から見た等高線は楕円になります。楕円の傾きと細長さが、変数間の相関の向きと強さをそのまま表します。
統計学と機械学習の多変量手法——回帰分析、主成分分析、カルマンフィルタ、ガウス過程——の多くは、この分布を理論の土台にしています。1変数の正規分布が推測統計の足場だったのと同じ役割を、多次元の世界で担う分布です。
なぜ生まれたか
1変数の正規分布は「1つの量のばらつき」しか語れません。2つの量の誤差を同時に扱う式自体は、1846年にフランスの物理学者ブラヴェが測量誤差の研究で書き下していましたが、それが「関係の強さ」を測る道具として意味を持ったのは19世紀末のことです。ゴルトンは親の身長と子の身長という2つの量の関係を調べるうちに、表にまとめたデータの等しい頻度の場所を結ぶと同心の楕円になることに気づき、数学者ディクソンの助けを借りてこれを2変量正規分布として定式化しました（1886年）。そこから相関係数と回帰という概念が同時に生まれています。多変量正規分布は、相関・回帰と兄弟関係にある分布なのです。
必要性はその後も増し続けました。20世紀に入ると経済・生物・心理のデータ分析はどれも多変数が当たり前になります。「各変数を別々の正規分布で扱う」だけでは変数間の連動——身長が高い人は体重も重い傾向がある、という情報——が丸ごと落ちてしまう。連動を共分散の行列として一括で持つ多変量正規分布は、この問題への最も扱いやすい答えとして、フィッシャーやホテリングらによる多変量解析の共通基盤になりました。
詳細
共分散行列が形を決める
2変数の場合、分布の形は3つの数で決まります。変数1のばらつき、変数2のばらつき（それぞれの分散）、そして2つの共分散です。共分散がゼロなら等高線は軸に平行な楕円（ばらつきが等しければ円）になり、共分散が正なら右上がりに傾いた楕円に、負なら右下がりになります。相関が強いほど楕円は細く潰れ、「一方が分かればもう一方がほぼ決まる」状態に近づきます。
楕円の軸の向きと長さは、共分散行列の固有ベクトルと固有値の平方根そのものです。楕円のいちばん長い軸は「データがいちばん大きくばらつく方向」で、これを順に取り出していくのが主成分分析です。変数が3つ以上でも考え方は同じで、共分散行列は「すべての変数ペアの連動を一覧にした表」、等高線は多次元の楕円体になります。中心からの距離を共分散行列で補正して測るマハラノビス距離を使うと、相関を考えたうえで「この観測は分布の中心からどれだけ珍しい位置にあるか」を評価でき、多変量の外れ値検出の基本道具になっています。単独ではどちらも正常範囲なのに「身長190cmで体重45kg」という組み合わせとして異常な点を捉えられるのは、この距離のおかげです。
切っても写しても正規 — 閉じている強さ
多変量正規分布が理論の土台に選ばれ続ける理由は、その「閉じている」性質にあります。まず、一部の変数だけを取り出した周辺分布は正規分布です（同時分布と周辺分布の関係がきれいに保たれます）。次に、一部の変数の値を固定した条件付き分布も正規分布です。2変数なら、X = x で切った断面は
- 平均: μy + ρ(σy/σx)(x − μx) — x の一次式、つまり直線の上を動く
- 標準偏差: σy√(1 − ρ²) — x によらず一定で、何も知らないときの σy より狭い
という正規分布になります。平均が乗る直線こそが「x から y を予測する」回帰分析の直線で、線形回帰の理論的な原風景がここにあります。さらに、変数の線形結合（重み付きの和）も正規分布に従います。
立体を準備しています…
右の等高線で楕円の軸の端（白い丸）をつかんで伸ばしたり回したりすると、左の山が連動します。金の丸で断面 x = x₀ を左右に動かしてみてください。
山の高さ = 確率密度（山頂の高さを揃えて表示）。白と灰の楕円 = 1σ・2σ の等高線、青い直線 = 回帰直線 E[Y|X=x]、金 = x = x₀ の断面
図の2本の直線の違いは見落とされがちな要点です。楕円の長軸は「x と y を対等に見たときの主な方向」、回帰直線は「x を固定したときの y の平均」で、|ρ| < 1 なら回帰直線は必ず長軸より寝ています。極端な x に対する y の予測は、長軸が示すほどには極端にならない——ゴルトンが「平均への回帰」と呼んだ現象は、この幾何から自然に出てきます。
この性質群は応用に直結します。ロボットやカーナビの位置推定に使われるカルマンフィルタは、「現在の推定（正規分布）に観測を1つ加えて条件付き分布を作ると、また正規分布になる」ことを毎時刻繰り返す仕組みです。機械学習のガウス過程回帰も「無限個の変数の多変量正規分布」を扱う手法で、条件付き分布の計算だけで予測と不確かさの評価が同時に得られます。
無相関なら独立 — ただし多変量正規のときだけ
一般には、相関がゼロでも独立とは限りません（U字型の関係は相関ゼロでも強く依存しています）。ところが X と Y が同時に多変量正規分布に従うなら、共分散がゼロであることと独立であることは同値です。上の部品で「無相関」を選ぶと、断面をどこで切っても中心も幅も変わらない——X の値が Y の分布に何の情報も与えないことが見えます。多変量正規の世界では「相関を調べれば依存関係がすべて分かる」わけで、これが多変量解析の計算を大幅に単純にしてきました。
ただしこの同値性は「組として正規」であることが前提です。X が標準正規分布に従い、Y = X と Y = −X を硬貨の表裏で決めるような作り方をすると、X も Y も単独では正規分布で、相関もゼロなのに、|Y| = |X| という完全な依存があります。各変数のヒストグラムが釣鐘だからといって、組として多変量正規だとは言えないのです。
生成とシミュレーション
多変量正規分布は乱数生成のしやすさでも重宝されます。独立な標準正規乱数のベクトルに、共分散行列を分解して得た行列（コレスキー分解）を掛けるだけで、指定した相関構造を持つ乱数が作れます。金融のリスク管理では、多数の資産の収益率をこの方法で大量に生成し、ポートフォリオの損失分布をモンテカルロ法で評価する、といった使い方が定番です。
落とし穴 — 相関構造まで「正規」とみなす危うさ
1変数のとき以上に、多変量での正規性の仮定は強い主張です。第一に裾での連動。多変量正規分布では変数間の依存がすべて線形の相関で表され、「普段は無相関に見えるのに、暴落時だけ全銘柄が一斉に下がる」ような裾での連動（テール依存性）を表現できません。2008年の金融危機では、証券化商品の評価に使われた正規分布ベースの依存構造モデル（ガウシアン・コピュラ）がこの限界を抱えたまま使われていたことが、リスクの過小評価の一因として批判されました。第二に共分散行列の推定。変数が p 個なら推定すべき共分散は p(p+1)/2 個あり、変数の数が標本の大きさに近づくと推定値は大きく揺れ、標本数より変数が多いと逆行列すら作れません。高次元では、推定値を単純な形へ少し引き寄せる縮小推定（正則化の一種）が実務の定石です。第三に形の確認。仮定を置く前に散布図行列で楕円らしい形かを確かめ、単峰の楕円で表せない多峰のデータには複数の正規分布を重ねる混合分布を検討します。
試問
2つの量 X と Y が一緒に正規分布に従うときの山（2変量正規分布）を、等高線の楕円で形づくります（平均はどちらも 0 に固定）。楕円の軸の端（白い丸）をつかむと伸ばしたり回したりでき、金の線は X をある値 x₀ に決めたときの Y の分布（断面）です。楕円の軸の端と、金の断面をつかんで動かしてください。
立体を準備しています…
右の等高線で楕円の軸の端（白い丸）をつかんで伸ばしたり回したりすると、左の山が連動します。金の丸で断面 x = x₀ を左右に動かしてみてください。
山の高さ = 確率密度（山頂の高さを揃えて表示）。白と灰の楕円 = 1σ・2σ の等高線、青い直線 = 回帰直線 E[Y|X=x]、金 = x = x₀ の断面