最尤推定

概要

最尤推定（さいゆうすいてい、Maximum Likelihood Estimation, MLE）は、「手元の観測データが最も起こりやすくなるようなパラメータの値を答えとする」推定法です。確率分布のモデル（正規分布、二項分布など）を仮定したうえで、そのパラメータ（平均 μ や成功確率 p など）を標本から決めたいとき、統計学が用意している最も標準的な手続きです。

発想を日常語にすると「一番もっともらしい説明を選ぶ」ということです。コインを10回投げて7回表が出たとき、表の確率が 0.1 のコインでこの結果が出るのはかなり不自然ですが、0.7 のコインなら自然です。ならば 0.7 を答えとしよう — この「観測結果への説明としてのもっともらしさ」を尤度（ゆうど、likelihood）と呼び、それを最大にするパラメータを選ぶのが最尤推定です。

最尤推定の強みは、分布のモデルさえ書ければどんな問題にも同じ手順で適用できる汎用性です。線形回帰の最小2乗法もロジスティック回帰も、機械学習の多くの損失関数最小化も、裏側は最尤推定として統一的に理解できます。

なぜ生まれたか

最尤推定以前の推定は、問題ごとに場当たり的でした。平均なら標本平均、確率なら割合、と直感的に決めることはできても、「複雑なモデルのパラメータをどう推定するか」に答える一般的な方法論がなかったのです。19世紀に主流だったモーメント法（標本の平均や分散をモデルの理論値と一致させる方法）は手軽な半面、同じ問題に複数の答えを許したり、データの情報を使い切れなかったりする弱点がありました。

R.A.フィッシャーは1912〜1922年の一連の仕事で、この問いに正面から答えました。発想の転換は「確率の式を逆向きに読む」ことです。確率分布の式は本来「パラメータを固定したとき、このデータが出る確率」を与えますが、データが観測済みの今、未知なのはパラメータのほうです。そこで同じ式を「データを固定した、パラメータの関数」と読み替えたものが尤度関数で、これを最大化すれば、どんなモデルでも機械的にパラメータが求まります。さらにフィッシャーは、この方法で得た推定量が一致性を持ち、大標本では他のどの推定量よりも揺れが小さくなる（漸近有効性）ことを示し、最尤推定を「原則としてこれを使えばよい」標準手法の地位に押し上げました。

詳細

尤度関数 — 確率の式を逆向きに読む

コイン投げの例を続けます。表の確率 p のコインを10回投げて表7回・裏3回になる確率は、二項分布の式で「pの7乗 ×（1−p）の3乗 × 組み合わせの数」と書けます。この式を、観測結果（表7回）を固定して p の関数として眺めたものが尤度関数 L(p) です。p を 0 から 1 まで動かすと、L(p) は p = 0.7 で最大になります。これが最尤推定値です。

注意したいのは、尤度は「p がその値である確率」ではないことです。パラメータは未知の定数であって確率変数ではない、というのが最尤推定の立場です。パラメータ自体に確率分布を考えて条件付き確率の枠組みで更新していくのはベイズの定理に基づくベイズ推定で、最尤推定は「事前情報を使わないベイズ推定（事前分布が平ら）」と対応することが知られています。

実際の手順 — 対数尤度と最大化

実際の計算では、尤度そのものではなく対数を取った対数尤度を最大化します。独立な観測の尤度は各データの確率の掛け算になるため、データが増えると値が極端に小さくなり数値的に扱いにくいのですが、対数を取れば掛け算が足し算に変わり、微分もしやすくなります。対数は単調増加なので、最大になる場所は変わりません。手順は次の通りです。

簡単なモデルでは微分がそのまま解けて、直感どおりの答えが出ます。正規分布の平均 μ の最尤推定は標本平均、コインの p は観測された割合、ポアソン分布の平均も標本平均です。一方、ロジスティック回帰や混合分布のような複雑なモデルでは解析的に解けないため、勾配法などの数値最適化で山を登ります。ディープラーニングの学習で「交差エントロピー損失を最小化する」のは、数学的には対数尤度の最大化と同じことです。

良い性質と、その条件

最尤推定が標準手法とされる根拠は、大標本での性質にあります。標本サイズが大きくなると、最尤推定量は真の値に収束し（一致性）、その揺れは理論上の下限（クラメール・ラオの下限）に達する、つまり漸近的に最も有効な推定量になります。さらに推定量の分布は正規分布に近づくため、標準誤差や信頼区間の計算、尤度比検定による仮説検定まで、一貫した推論の道具立てが手に入ります。モデル比較で使われる AIC（赤池情報量規準）も、最大対数尤度をパラメータ数で罰則付けした指標です。

ただし、これらの保証には条件があります。第一に「仮定した分布モデルが正しい」こと — モデルが現実とずれていれば、最尤推定は「間違ったモデルの中での最良」を返すだけです。第二に「標本が十分大きい」こと — 小標本では偏りが無視できないことがあり、たとえば正規分布の分散の最尤推定は n 割りで、不偏推定量の n−1 割りより小さめに出ます。第三に、尤度の山が一つとは限らないこと — 混合分布などでは局所的な峰に捕まる恐れがあり、初期値を変えて最適化をやり直すといった実務的な工夫が必要です。強力な手法であるほど、前提の点検を省かないことが大切です。