バイアスとバリアンス

概要

バイアスとバリアンスは、モデルの予測誤差を2つの性質の異なる成分に分解して考える枠組みです。バイアス（偏り）は「モデルが単純すぎて、本当の構造を系統的に捉えそこねている度合い」、バリアンス（分散）は「学習に使うデータが変わるたびに、モデルの予測がどれだけぶれるかの度合い」を指します。射撃にたとえると、バイアスは狙いが的の中心からずれていること、バリアンスは着弾が毎回バラバラに散ることに相当します。

この2つは多くの場合トレードオフの関係にあります。モデルを単純にするとバイアスは増えるがバリアンスは減り、複雑にするとバイアスは減るがバリアンスが増える。過学習と未学習という現象を、「誤差の内訳」という視点から統一的に説明してくれるのがこの枠組みで、モデルの複雑さをどこに設定すべきかを考えるときの共通言語になっています。

なぜ生まれたか

過学習の存在が知られると、「モデルを複雑にすると訓練データへの当てはまりは良くなるのに、なぜ新しいデータへの予測はある点から悪化するのか」という疑問が残りました。当てはまりが良くなっているのに予測が悪くなる、という一見矛盾した現象を説明する理論が必要だったのです。その答えが、予測誤差の期待値を数学的に分解すると「バイアスの2乗 + バリアンス + 削減不能なノイズ」という3項の和に厳密に分かれる、というバイアス・バリアンス分解でした。複雑化はバイアスを減らす一方でバリアンスを増やすため、両者の和である予測誤差はU字を描く——過学習の正体は「バリアンスの爆発」だと説明できるようになったのです。

この分解はもともと推定量の性質の理論——不偏性（偏りのなさ）と有効性（ばらつきの小ささ)という推定量の評価基準——に根を持ちます。統計学では長らく不偏推定量が理想とされてきましたが、「少しの偏りを受け入れる代わりにばらつきを大きく減らせるなら、そのほうが総合的な誤差は小さい」という発想の転換が、この枠組みによって正当化されました。正則化はまさにこの転換を実装した技法です。

詳細

分解の中身

同じ母集団から標本を何度も取り直し、そのたびにモデルを学習し直す思考実験を考えます。ある入力点に対する予測値は標本ごとに変わるので、予測値そのものが分布を持ちます。この分布の中心（予測の期待値）が真の値からどれだけずれているかがバイアス、分布の広がりがバリアンスです。二乗誤差の期待値は「バイアスの2乗 + バリアンス + ノイズの分散」に正確に分解され、3つ目のノイズ項はデータ自体に含まれる偶然のばらつきなので、どんなモデルでも削れません。つまりモデル側で制御できる誤差はバイアスとバリアンスの2つだけで、モデル設計とはこの2つの配分を決める作業だと言えます。

トレードオフの直感

単純なモデル、たとえば直線回帰は、どの標本で学習してもほぼ同じ直線を返します。予測は安定している（低バリアンス）けれど、真の関係が曲線なら、どの標本でも同じ方向に外し続けます（高バイアス）。逆に高次多項式や深い決定木は、真の構造がどんな形でも平均的には捉えられます（低バイアス）が、標本のノイズに敏感に反応するため、標本が変わるたびに予測が大きく揺れます（高バリアンス）。過学習したモデルの予測が新しいデータで外れるのは、狙いがずれているからではなく、手の震えが大きすぎるから——この比喩がバイアスとバリアンスの区別を端的に表しています。

誤差の内訳から対策を選ぶ

この枠組みの実用的な価値は、モデルの不調に対して打つ手を選び分けられることです。訓練誤差も検証誤差も高いなら高バイアス（未学習）が疑われるので、モデルを複雑にする・特徴量を増やすのが筋です。訓練誤差は低いのに検証誤差が高いなら高バリアンス（過学習）なので、データを増やす・正則化を強める・モデルを単純にするのが筋です。診断を誤ると逆効果になります。高バイアスのモデルにデータをいくら追加しても誤差は下がりませんし、高バリアンスのモデルをさらに複雑にすれば悪化します。誤差の内訳を交差検証による検証誤差と訓練誤差の比較から読み取ることが、モデル改善の羅針盤になります。

偏りを受け入れるという設計

バイアス・バリアンス分解が統計学にもたらした思想的な転換は、「不偏であることは常に善ではない」という点です。リッジ回帰は係数を意図的にゼロ方向へ縮め、偏った推定量をあえて作りますが、その見返りにバリアンスが大きく減り、総合誤差では不偏な最小2乗推定を上回ることがあります。ランダムフォレストが多数の木の予測を平均するのも、個々の木の高いバリアンスを平均で打ち消す戦略です。ベイズ統計で事前分布が推定を安定させる働きも、同じ構図で理解できます。「正確に狙うこと」と「ぶれずに当てること」は別の能力であり、目的が予測なら後者のためにあえて前者を少し譲る——この設計思想は、現代の統計モデリングと機械学習の底流をなしています。