多変量正規分布

概要

多変量正規分布は、正規分布を複数の変数へ拡張した確率分布です。身長と体重、気温とアイスの売上、複数銘柄の株価収益率 — 現実のデータはたいてい複数の量が連動して動きます。多変量正規分布は、そうした「変数の組」をひとまとまりのベクトルとして扱い、それぞれの分布だけでなく変数間の連動の仕方まで含めて1つの分布で表現します。

1変数の正規分布が平均 μ と標準偏差 σ の2つで決まったように、多変量正規分布は「平均ベクトル」（各変数の中心）と「共分散行列」（各変数のばらつきと、変数ペアごとの共分散を並べた表）の2つで完全に決まります。2変数の場合を散布図に描くと、点の密度が同じ場所を結んだ等高線は楕円になり、楕円の傾きと細長さが変数間の相関の向きと強さをそのまま表します。

統計学と機械学習の多変量手法 — 回帰、主成分分析、カルマンフィルタ、ガウス過程 — の多くは、この分布を理論の土台にしています。1変数の正規分布が推測統計の足場だったのと同じ役割を、多次元の世界で担う分布です。

なぜ生まれたか

1変数の正規分布は「1つの量のばらつき」しか語れません。19世紀末、ゴルトンは親の身長と子の身長という「2つの量の関係」を調べるうちに、散布図上のデータの密度が同心の楕円をなすことを発見しました。この楕円のパターンを数式で表したものが2変量正規分布で、そこから相関係数と回帰という概念が同時に生まれています。つまり多変量正規分布は、相関・回帰と兄弟関係にある分布です。

必要性はその後も増し続けました。天文学や測地学では複数の観測量の誤差が互いに独立でない場合の扱いが必要になり、20世紀に入ると経済・生物・心理のデータ分析はどれも多変数が当たり前になります。「各変数を別々の正規分布で扱う」だけでは変数間の連動 — 身長が高い人は体重も重い傾向がある、という情報 — が丸ごと落ちてしまう。連動を共分散の行列として一括で持つ多変量正規分布は、この問題への最も扱いやすい答えとして、多変量解析の共通基盤になりました。

詳細

共分散行列が形を決める

2変数の場合で考えると、分布の形は3つの数で決まります。変数1のばらつき、変数2のばらつき（それぞれ分散）、そして2つの共分散です。共分散がゼロなら等高線は軸に平行な楕円（ばらつきが等しければ円）になり、共分散が正なら右上がりに傾いた細長い楕円に、負なら右下がりになります。相関が強いほど楕円は細く潰れ、「一方が分かればもう一方がほぼ決まる」状態に近づきます。

変数が3つ以上でも考え方は同じで、共分散行列は「すべての変数ペアの連動を一覧にした表」、等高線の楕円は多次元の楕円体になります。中心からの距離を共分散行列で補正して測る「マハラノビス距離」を使うと、相関を考慮したうえで「この観測は分布の中心からどれだけ珍しい位置にあるか」を評価でき、多変量の外れ値検出の基本道具になっています。単独では正常範囲でも「身長190cmで体重45kg」のような組み合わせとして異常な点を捉えられるのは、この距離のおかげです。

切っても写しても正規 — 閉じている強さ

多変量正規分布が理論の土台に選ばれ続ける理由は、その「閉じている」性質にあります。まず、一部の変数だけ取り出した周辺分布は正規分布です（同時分布と周辺分布の関係がきれいに保たれます)。次に、一部の変数の値を固定した条件付き分布も正規分布で、しかもその平均は固定した値の一次式になります。「親の身長が分かったときの子の身長の分布」の中心が直線に乗る — これはまさに回帰分析の直線で、線形回帰の理論的な原風景がここにあります。さらに、変数の線形結合（重み付きの和）も正規分布に従います。

この性質群は応用に直結します。ロボットやカーナビの位置推定に使われるカルマンフィルタは、「現在の推定（正規分布）に観測を1つ加えて条件付き分布を作ると、また正規分布になる」ことを毎時刻繰り返す仕組みです。機械学習のガウス過程回帰も「無限個の変数の多変量正規分布」を扱う手法で、条件付き分布の計算だけで予測と不確かさの評価が同時に得られます。

生成とシミュレーション

多変量正規分布は乱数生成のしやすさでも重宝されます。独立な標準正規乱数のベクトルに、共分散行列を分解して得た行列（コレスキー分解）を掛けるだけで、指定した相関構造を持つ乱数が作れます。金融のリスク管理では、多数の資産の収益率をこの方法で大量に生成し、ポートフォリオの損失分布をモンテカルロ法で評価する、といった使い方が定番です。

落とし穴 — 相関構造まで「正規」とみなす危うさ

1変数のとき以上に、多変量での正規性の仮定は強い主張です。多変量正規分布では、変数間の依存はすべて共分散（線形の相関）で表され、「普段は無相関に見えるのに、暴落時だけ全銘柄が一斉に下がる」ような裾での連動（テール依存性）は表現できません。2008年の金融危機では、証券化商品の評価に使われた正規分布ベースの依存構造モデル（ガウシアン・コピュラ）がこの限界を抱えたまま使われていたことが、リスクの過小評価の一因として批判されました。また、各変数が単独で正規分布に見えても、組としては多変量正規でないことがあります。仮定を置く前に散布図行列で形を確かめること、そして裾の共倒れが致命的な応用では正規の枠外のモデルを検討することが、この分布と付き合う上での鉄則です。単峰の楕円で表せない多峰のデータには、複数の正規分布を重ねる混合分布という拡張が待っています。