正則化

概要

正則化は、モデルの係数が大きくなりすぎることに「ペナルティ」を課すことで、過学習を抑え推定を安定させる技法です。過学習とは、モデルが手元のデータの偶然の凹凸まで丸暗記してしまい、そのデータへの当てはまりは完璧に近いのに、新しいデータへの予測がむしろ悪くなる現象を指します。特に説明変数が多い重回帰分析や、変数の数がデータ数に迫る・超えるような状況で、過学習は避けて通れない問題になります。

発想はシンプルです。最小2乗法は「データとのずれ（残差平方和）を最小にする」係数を選びますが、正則化では「残差平方和 + 係数の大きさに応じた罰金」を最小にします。データに合わせようとして係数を大きく振り回すと罰金がかさむため、モデルは「当てはまりの良さ」と「係数の慎ましさ」のバランス点に落ち着きます。罰金の強さは正則化パラメータ λ（ラムダ）で調整し、λ=0 なら通常の最小2乗法、λ を大きくするほど係数はゼロへ縮んでいきます。

罰金の課し方には主に2流派あります。係数の2乗和に課す Ridge（リッジ回帰）と、絶対値の和に課す Lasso（ラッソ回帰）です。一見わずかな違いですが、Lasso には「不要な変数の係数を厳密にゼロにして自動的に変数選択する」という際立った性質があり、この違いが両者の使い分けを決めます。

なぜ生まれたか

正則化の原型であるリッジ回帰は、1970年にホーエルとケナードが「多重共線性」への対処として提案しました。説明変数同士が強く相関していると、最小2乗法の解は極端に不安定になります。データがわずかに変わるだけで係数が大きく振れ、符号すら反転する——数学的には解こうとする連立方程式がほとんど特異（逆行列が壊れかけ）になることが原因です。彼らの処方は、方程式の対角成分に小さな定数を足して安定化させること。これは「係数の2乗和にペナルティを課す」ことと同値でした。意図的に少しの偏り（バイアス）を入れる代わりに、推定のばらつき（バリアンス）を大幅に減らす——推定量の性質として「不偏であること」を絶対視してきた統計学に対し、偏っていても総合的な誤差が小さい推定のほうが役に立つ場面があると示した点で、転換点となる仕事でした。

第二幕は1996年、ティブシラニの Lasso です。データ収集の自動化で「変数が数百・数千あるが、本当に効くのは一握り」という状況が現実になり、どの変数を残すかという変数選択が切実な問題になっていました。総当たりの変数選択は組み合わせ爆発で不可能、逐次選択は不安定。Lasso は絶対値ペナルティという連続的な最適化の副産物として係数を厳密にゼロに落とし、「推定と変数選択を同時に行う」ことを可能にしました。以後、正則化は高次元データ時代の統計学と機械学習の中核技術になっています。

詳細

Ridge と Lasso — なぜ Lasso だけゼロになるのか

Ridge と Lasso の違いは、幾何学的に見ると腑に落ちます。ペナルティ付きの最小化は、「係数の大きさが予算内に収まる」という制約の下で残差平方和を最小にすることと同値です。この予算の形が、Ridge では円（2乗和の制約）、Lasso では頂点を持つひし形（絶対値和の制約）になります。残差平方和の等高線が予算領域に最初に触れる点が解になるのですが、ひし形は頂点が座標軸の上に突き出しているため、等高線は高い確率で頂点——つまり一部の係数が厳密にゼロの点——で接触します。円には頂点がないので、Ridge の係数は小さくなってもゼロにはなりません。

この性質から使い分けが決まります。多くの変数が少しずつ効いていそうなら Ridge、効く変数は一握りで残りはノイズだと考えるなら Lasso。両者のペナルティを混ぜ合わせた Elastic Net は、相関の強い変数群を Lasso が気まぐれに1つだけ選んでしまう弱点を補う折衷案として広く使われます。

バイアスとバリアンスのトレードオフ

正則化の効き目を理解する鍵は、予測誤差が「バイアス（系統的なずれ）の2乗 + バリアンス（推定のばらつき） + 削れない雑音」に分解できることです。制約のない最小2乗法はバイアス最小を追求しますが、変数が多い・データが少ない・変数間の相関が強い状況ではバリアンスが爆発します。正則化は係数を縮めることでバイアスを少し受け入れ、代わりにバリアンスを大きく削る。差し引きで新しいデータへの予測誤差が下がる——これが「偏った推定のほうが当たる」からくりです。

では λ をどれくらいにすべきか。これはバイアスとバリアンスの配分を決めるダイヤルなので、データから選ぶのが標準です。定番は交差検証で、データを数分割し「一部を隠して残りで学習し、隠した部分への予測誤差を測る」ことを繰り返して、予測誤差が最小になる λ を選びます。ここには重要な思想の転換があります。手元のデータへの当てはまりではなく、見ていないデータへの予測性能でモデルを選ぶ——正則化とセットで、この評価様式が統計モデリングの標準になりました。

ベイズ統計から見た正則化

正則化には美しい別解釈があります。ベイズ統計の視点では、Ridge は「係数は正規分布に従ってゼロ付近にあるだろう」という事前分布を置いた最大事後確率推定と一致し、Lasso は裾の尖ったラプラス分布を事前分布に置いたものと一致します。ペナルティとは「係数は極端に大きくないはずだ」という事前の信念の言い換えであり、λ はその信念の強さです。頻度論の道具として生まれた正則化とベイズの事前分布が同じ場所に合流するのは、統計学の見通しの良い風景のひとつです。

実務の作法と落とし穴

実務でまず守るべきは、ペナルティを課す前に説明変数を標準化することです。ペナルティは係数の「数値の大きさ」に一律にかかるため、変数の単位（メートルかミリか）で罰金の重さが変わってしまいます。尺度を揃えて初めて公平なペナルティになります。また切片には通常ペナルティをかけません。

解釈上の注意もあります。正則化された係数は意図的に縮められているので、通常の回帰と同じ感覚で効果の大きさを読むと過小評価になりますし、素朴なp値や信頼区間の理論はそのままでは通用しません。Lasso が選んだ変数リストも、データが変わればある程度入れ替わる不安定さを持ちます。正則化はまず「予測を安定させ、高次元でもモデルを立てられるようにする」技術であり、選ばれた変数への因果的な意味づけは慎重に、と心得ておくのが安全です。この考え方はロジスティック回帰や一般化線形モデルのペナルティ付き推定、さらにはニューラルネットワークの重み減衰まで、そのまま拡張されて使われています。