推定量と不偏性
Estimators and Unbiasedness ・ すいていりょうとふへんせい
標本から母集団の値を言い当てる関数と、その良し悪しを測る基準
✦ 30秒で試す — 航海偏った計算方法でも、データが増えれば正解に近づく推定値の平均はいくつになる？予想してみる概要
推定量（estimator）とは、母集団と標本の関係において「標本から母集団の値を言い当てるための計算式（関数）」のことです。たとえば母集団の平均を知りたいとき、標本平均を計算してそれを答えとする — このときの「標本平均を計算する」という手続きそのものが推定量で、実際に得られた数値（たとえば 172.3 cm）は推定値と呼び分けます。
重要なのは、推定量の答えは標本を引き直すたびに変わるという点です。同じ母集団から標本を100回取れば、標本平均は100通りの少しずつ違う値になります。つまり推定量は確率的に揺れる量（確率変数）であり、「この計算式は良い推定を返すのか」という問いには、1回の結果ではなく揺れ方全体を見て答えるしかありません。その良し悪しを測る基準が、不偏性・一致性・有効性といった推定量の性質です。
「平均を推定するなら標本平均でいいのでは」と思うかもしれませんが、中心の推定には標本平均のほかに中央値や刈り込み平均といった代表値の候補がありますし、分散の推定には「n で割るか、n−1 で割るか」という有名な分かれ道があります。どれが良いかは、基準を決めないと議論できません。推定量の性質は、こうした選択に根拠を与えるための語彙です。
なぜ生まれたか
19世紀までの統計では、「標本平均で母平均を推定する」といった手続きは経験的な常識として使われていましたが、「なぜその計算式が良いのか」「他の式より優れていると言えるのか」を判定する共通の物差しがありませんでした。同じデータから中心を推定するにも、標本平均・中央値・両端を捨てた平均など候補は無数にあり、どれを選ぶべきかは論者の好みに委ねられていたのです。
この状況を変えたのが1920年代のR.A.フィッシャーです。フィッシャーは「推定量は標本という偶然に依存する確率変数である」と捉え直し、その分布の性質 — 標本を増やせば真の値に収束するか（一致性）、揺れ幅が小さいか（有効性）、データの情報を取りこぼしていないか（十分性）— で推定量を評価する枠組みを整備しました。狙いの中心がずれていないか（不偏性）という基準は、ガウスの時代から最小二乗法の性質として論じられてきたものが、この枠組みの中に位置づけ直されました。これにより推定は「職人の勘」から「基準に照らして比較・最適化できる数理の問題」になり、最尤推定のような体系的な推定法や、不偏推定量の分散の下限を与えるクラメール・ラオの不等式（1940年代）といった理論が生まれました。
詳細
不偏性 — 狙いの中心が合っているか
不偏性（unbiasedness）は「推定量の期待値が、推定したい真の値に一致する」という性質です。標本を何度も引き直して推定を繰り返したとき、個々の推定値は外れても、平均すれば真の値にぴったり重なる — 系統的な偏り（バイアス）がない、ということです。標本平均は母平均の不偏推定量です。
不偏性の話で必ず登場するのが分散の推定です。標本の分散を素朴に「偏差の2乗和 ÷ n」で計算すると、期待値は母分散の (n−1)/n 倍になり、少し小さく出ます。原因は、偏差を真の平均 μ ではなく標本平均 x̄ から測っていることです。x̄ は「その標本の2乗和をいちばん小さくする中心」なので、x̄ から測った2乗和は、μ から測った2乗和を決して上回りません。この目減りをちょうど打ち消すのが「n−1 で割る」補正（ベッセルの補正、不偏分散）で、統計ソフトの分散・標準偏差の多くが n−1 割りを既定にしているのはこのためです。n−1 は「x̄ を計算するために自由度を1つ使った残り」とも説明されます。
母集団（真の分散 100）から 3 個だけ取り、分散を2通りに計算して下の段に落とします。「1回」を何度か押し、次に「500回」で積み上げてください。
上: 引いた標本（金の線 = 標本平均、青の破線 = 真の平均 μ）。下: 2通りの分散の推定値の積み上がり。▲ = 推定値の平均
部品で n=3 のまま積み上げると、n で割る方の平均は真の分散100の約3分の2に落ち着き、n−1 で割る方は100に重なります。ただし注意点があります。不偏分散の平方根をとった標本標準偏差は、σ の不偏推定量ではありません。平方根は凹な関数なので、平均してから √ をとるより √ をとってから平均するほうが小さくなり（イェンセンの不等式）、n が小さいほど σ を系統的に下回ります。不偏性は変数変換で保たれない性質なのです。
一致性と有効性 — 収束と揺れ幅
一致性（consistency）は「標本サイズ n を大きくしていくと、推定値が真の値に収束していく」という性質です。大数の法則により、標本平均は母平均への一致性を持ちます。n で割る分散も、偏りは (n−1)/n という形で n とともに消えていくので一致推定量です。データを集めれば集めるほど正解に近づくことが保証されているわけで、実用上はほぼ必須の要件と言えます。
有効性（efficiency）は「不偏な推定量どうしを比べたとき、揺れ幅（分散）が小さいほうが良い」という基準です。たとえば正規分布に従う母集団の中心を推定するとき、標本平均も標本中央値もどちらも不偏で一致性を持ちますが、大標本では中央値の分散は平均の約 π/2 ≈ 1.57 倍になります。同じ精度を得るのに中央値では約1.57倍のデータが要る、ということです。ただし外れ値が混じる分布では立場が逆転し、中央値のほうが有効になることもあります。推定量の揺れ幅そのものを数値化した物差しが標準誤差で、信頼区間の幅を決める材料になります。
不偏性は絶対の基準ではない
注意したいのは、不偏性が常に最優先の基準ではないことです。推定の総合的な誤差は平均2乗誤差（MSE）で測られ、「MSE = バイアスの2乗 + 分散」に分解できます。少しの偏りを受け入れる代わりに分散を大きく減らせるなら、そのほうが平均的には真の値に近い推定になります。実際、正規分布の分散の推定では、偏差の2乗和を n−1 ではなく n+1 で割ると、偏りはあるものの MSE は最小になります。機械学習の正則化（リッジ回帰など）はまさにこの発想で、あえて偏りのある推定量を使って予測誤差を下げています。バイアスとバリアンスのトレードオフという言葉は、この推定量の性質の議論がそのまま現代の機械学習に受け継がれたものです。
また、最尤推定で得られる推定量は一般に不偏とは限りません（正規分布の分散の最尤推定は n 割りで、わずかに偏ります）が、一致性を持ち、大標本では最も有効な推定量に近づくことが知られています。実務の判断としては、標本が十分大きければ n と n−1 の差は気にしなくてよく、小標本では「何を推定したいのか（分散か、標準偏差か、予測誤差か）」に合わせて基準を選ぶ — この相場観を持つことが、推定量の性質を学ぶ実務上のゴールです。
試問
真の分散が 100 の母集団から n 個の標本を引き、その標本から分散を推定することを何度もくり返します。推定の式は2通りで、平均からのずれの2乗の合計を n で割るもの（赤い段）と、n−1 で割るもの（金の段）です。標本の大きさ n を選び、推定値を積み上げてください。命題が見るのは、赤い段（n で割る推定量）の平均です。
母集団（真の分散 100）から 3 個だけ取り、分散を2通りに計算して下の段に落とします。「1回」を何度か押し、次に「500回」で積み上げてください。
上: 引いた標本（金の線 = 標本平均、青の破線 = 真の平均 μ）。下: 2通りの分散の推定値の積み上がり。▲ = 推定値の平均