推定量と不偏性

概要

推定量（estimator）とは、母集団と標本の関係において「標本から母集団の値を言い当てるための計算式（関数）」のことです。たとえば母集団の平均を知りたいとき、標本平均を計算してそれを答えとする — このときの「標本平均を計算する」という手続きそのものが推定量で、実際に得られた数値（たとえば 172.3 cm）は推定値と呼び分けます。

重要なのは、推定量の答えは標本を引き直すたびに変わるという点です。同じ母集団から標本を100回取れば、標本平均は100通りの少しずつ違う値になります。つまり推定量は確率的に揺れる量であり、「この計算式は良い推定を返すのか」という問いには、1回の結果ではなく揺れ方全体を見て答えるしかありません。その良し悪しを測る基準が、不偏性・一致性・有効性といった推定量の性質です。

「平均を推定するなら標本平均でいいのでは」と思うかもしれませんが、たとえば分散の推定には「nで割るか、n−1で割るか」という有名な分かれ道があり、どちらが良いかは基準を決めないと議論できません。推定量の性質は、こうした選択に根拠を与えるための語彙です。

なぜ生まれたか

19世紀までの統計では、「標本平均で母平均を推定する」といった手続きは経験的な常識として使われていましたが、「なぜその計算式が良いのか」「他の式より優れていると言えるのか」を判定する共通の物差しがありませんでした。同じデータから中心を推定するにも、標本平均・中央値・両端を捨てた平均など候補は無数にあり、どれを選ぶべきかは論者の好みに委ねられていたのです。

この状況を変えたのが20世紀初頭のR.A.フィッシャーです。フィッシャーは「推定量は標本という偶然に依存する確率変数である」と捉え直し、その分布の性質 — 狙いの中心がずれていないか（不偏性）、標本を増やせば真の値に収束するか（一致性）、揺れ幅が小さいか（有効性）— で推定量を評価する枠組みを整備しました。これにより推定は「職人の勘」から「基準に照らして比較・最適化できる数理の問題」になり、最尤推定のような体系的な推定法の理論的基盤が生まれました。

詳細

不偏性 — 狙いの中心が合っているか

不偏性（unbiasedness）は「推定量の期待値が、推定したい真の値に一致する」という性質です。標本を何度も引き直して推定を繰り返したとき、個々の推定値は外れても、平均すれば真の値にぴったり重なる — 系統的な偏り（バイアス）がない、ということです。標本平均は母平均の不偏推定量であることが知られています。

不偏性の話で必ず登場するのが分散の推定です。標本の分散を素朴に「偏差の2乗和 ÷ n」で計算すると、期待値が母分散よりわずかに小さくなります。標本平均は「その標本に最も寄り添う中心」なので、真の母平均から測るより偏差が小さめに出てしまうためです。この偏りをちょうど打ち消すのが「n−1 で割る」という補正（不偏分散）で、統計ソフトの分散・標準偏差の既定値が n−1 割りなのはこのためです。

一致性と有効性 — 収束と揺れ幅

一致性（consistency）は「標本サイズ n を大きくしていくと、推定値が真の値に収束していく」という性質です。大数の法則により、標本平均は母平均への一致性を持ちます。データを集めれば集めるほど正解に近づくことが保証されているわけで、実用上はほぼ必須の要件と言えます。

有効性（efficiency）は「不偏な推定量どうしを比べたとき、揺れ幅（分散）が小さいほうが良い」という基準です。たとえば正規分布に従う母集団の平均を推定するとき、標本平均も標本中央値もどちらも不偏で一致性を持ちますが、揺れ幅は標本平均のほうが小さく、より有効です。推定量の揺れ幅そのものを数値化した物差しが標準誤差で、信頼区間の幅を決める材料になります。

不偏性は絶対の基準ではない

注意したいのは、不偏性が常に最優先の基準ではないことです。推定の総合的な誤差は「バイアスの2乗 + 分散」に分解でき（平均2乗誤差と呼びます）、少しの偏りを受け入れる代わりに分散を大きく減らせるなら、そのほうが平均的には真の値に近い推定になります。機械学習の正則化（リッジ回帰など）はまさにこの発想で、あえて偏りのある推定量を使って予測誤差を下げています。「バイアスと分散のトレードオフ」という言葉は、この推定量の性質の議論がそのまま現代の機械学習に受け継がれたものです。

また、最尤推定で得られる推定量は一般に不偏とは限りません（正規分布の分散の最尤推定は n 割りで、わずかに偏ります）が、一致性を持ち、大標本では最も有効な推定量に近づくことが知られています。「どの基準をどこまで重視するかは目的次第」— この相場観を持つことが、推定量の性質を学ぶ実務上のゴールです。