分散と標準偏差
Variance and Standard Deviation ・ ぶんさんとひょうじゅんへんさ
データが代表値のまわりにどれだけ散らばっているかを測る指標
✦ 30秒で試す — 航海ばらつきを4倍にしたい。点はどれだけ広げればいい？分散を4倍にするには、各点の平均からの距離を何倍にする？予想してみる概要
分散と標準偏差は、データが平均のまわりに「どれだけ散らばっているか」を測る指標です。平均点60点のテストと聞いても、全員が55〜65点に固まっているのか、20点と100点に二極化しているのかは分かりません。この「ばらつきの大きさ」を数値にしたものが分散であり、その平方根（2乗する前の単位に戻した値）が標準偏差です。
計算の考え方は素直です。各データが平均からどれだけ離れているか（偏差）を求め、それを2乗して平均したものが分散です。2乗するのは、プラス方向のずれとマイナス方向のずれが打ち消し合わないようにするためです。図形で言えば、偏差を一辺とする正方形の面積を平均したものが分散で、その平均の正方形の一辺が標準偏差です。2乗した結果、単位も2乗されてしまう（点数なら「点の2乗」）ので、平方根を取って元の単位に戻した標準偏差（記号では σ や s）の方が日常的な解釈には使いやすく、「平均60点、標準偏差10点」なら「多くの人は50〜70点あたりにいる」と読めます。
代表値が「データの中心はどこか」に答えるのに対し、分散と標準偏差は「中心からどれだけ広がっているか」に答えます。この2つが揃ってはじめて、データの姿をひとことで語れるようになります。
なぜ生まれたか
平均だけでデータを語ることの危うさは、比べてみるとすぐに分かります。平均気温がどちらも15度の2つの都市があっても、一方は年間を通して10〜20度、もう一方は氷点下から35度まで振れるなら、住み心地はまったく違います。投資でも同じで、平均リターンが同じ2つの商品のうち、値動きの激しい方が明らかにリスクが高い。「平均が同じでも中身が違う」を区別する物差しが必要でした。
素朴には「平均からのずれの平均」を取りたくなりますが、ずれをそのまま足すとプラスとマイナスが必ず打ち消し合ってゼロになってしまいます。絶対値を取る方法（平均絶対偏差）もありますが、絶対値は折れ曲がった関数なので微分などの数学的操作と相性が悪い。そこで19世紀の誤差論以来、偏差を2乗して平均する方式が主流になりました。「標準偏差」という名前は1890年代にカール・ピアソンが、「分散」という名前は1918年にロナルド・フィッシャーが与えたものです。2乗和は計算がきれいに分解でき、独立な誤差を足し合わせると分散も足し算になるという便利な性質を持つため、最小二乗法とその上に立つ回帰分析、仮説検定など、統計学の主要な道具がこの上に組み立てられていきました。
詳細
計算を一度だけ手で追う
5人のテストの点数が 50, 55, 60, 65, 70 だとします。平均は60点。各値の偏差は −10, −5, 0, +5, +10 で、これを2乗すると 100, 25, 0, 25, 100。合計250を人数5で割ると分散は 50、その平方根を取って標準偏差は約7.1点です。もし点数が 40, 50, 60, 70, 80 なら、平均は同じ60点でも偏差が2倍になるので、2乗した正方形の面積は4倍になり、分散は200、標準偏差は約14.1点になります。「散らばりが2倍なら標準偏差も2倍、分散は4倍」という関係が、正方形の大きさで見えてきます。
自分で点を動かして、正方形がどう膨らむかを確かめてみましょう。平均から離れた点ほど、その正方形は2乗の勢いで大きくなります。
赤い正方形の一辺は点と平均の距離（偏差）。右の金の正方形は赤い正方形の面積の平均で、これが分散、その一辺が標準偏差です。どれか1点を端まで引っぱってみてください。
赤い正方形 = 各点の偏差の2乗。金の正方形 = その面積の平均（分散）。金の正方形の一辺 = 標準偏差（数直線の金の帯 = 平均±1SD）
2乗の代償 — 外れ値に弱い
部品で1点を端まで引っぱると、その点の正方形だけで全体の面積の過半を占めてしまうのが分かります。偏差を2乗するということは、平均から2倍遠い点に4倍、10倍遠い点に100倍の重みを与えるということです。このため分散と標準偏差は外れ値に非常に弱く、入力ミスがひとつ混じるだけで「ばらつき」の値が何倍にも膨らむことがあります。平均そのものも外れ値に引っぱられるので、弱さは二重です。
裾の長いデータや外れ値が疑われるデータでは、順位に基づくばらつきの指標が頼りになります。分位数で測る四分位範囲（IQR、中央50%の幅）や、中央値からの距離の中央値を取る中央絶対偏差（MAD）は、少数の極端な値の影響をほとんど受けません。正規分布のデータなら MAD を約1.48倍すると標準偏差と同じ尺度になるので、両者を並べて大きく食い違えば「外れ値に振り回されている」という診断にもなります。標準偏差を報告する前に、度数分布とヒストグラムで形を確かめる習慣が大切です。
標準偏差の読み方 — 「ものさし」としての使い方
標準偏差の真価は、「平均からのずれの大きさ」を測る共通のものさしになることです。データが正規分布に近い形をしているとき、平均 ±1σ の範囲に全体の約68%、±2σ に約95%が収まるという経験則が成り立ちます。「平均から2σ以上離れた値はかなり珍しい」という感覚は、品質管理での異常検知や、外れ値の判定に広く応用されています。ただしこの68%・95%は正規分布に近いときの話で、歪んだ分布や裾の重い分布では当てはまりません。
身近な例が偏差値です。偏差値は「平均を50、標準偏差を10に揃え直した得点」で、偏差値60は「平均より1σ上」を意味します。科目ごとに平均も散らばりも違うテストの成績を、同じものさしで比べられるのは標準化のおかげです。単位や大きさの違うデータ同士の散らばりを比べたいときは、標準偏差を平均で割った変動係数を使うこともあります（比率尺度の正の量に限ります）。
もうひとつ頻出する混同が、標準偏差と標準誤差の取り違えです。標準偏差は「個々のデータがどれだけばらつくか」、標準誤差は「平均などの推定値が標本ごとにどれだけぶれるか」を表し、平均の標準誤差は標準偏差を √n で割った値です。論文のグラフのエラーバーがどちらなのかで、読み取るべき意味はまったく変わります。
母分散と標本分散 — nで割るか、n−1で割るか
実務で必ず出会う細かい論点が「nで割るか、n−1で割るか」です。手元のデータが全体そのもの（母集団）なら偏差の2乗和をデータ数nで割ればよいのですが、母集団と標本の関係で、標本から母集団の分散を推定する場合は n−1 で割ります（不偏分散）。偏差は「標本の平均」から測りますが、標本の平均は標本自身のちょうど真ん中に来るように決まるので、真の平均から測るより偏差の2乗和がわずかに小さくなります。その偏りをちょうど打ち消すのが n−1 です。表計算ソフトに VAR.P と VAR.S の2種類の関数があるのはこのためです。
ここに意外な落とし穴があります。不偏分散は母分散の不偏な推定量ですが、その平方根である標本標準偏差は、母標準偏差の不偏な推定量ではありません。平方根は曲がった関数なので、「平均してから平方根」と「平方根してから平均」が一致しないためで、標本標準偏差は平均的に真の値よりわずかに小さく出ます。n=2 では約2割も小さく、n が数十あれば実用上は無視できる程度です。「n−1 で割れば偏りは消える」は分散についてだけ正しい、と覚えておきましょう（詳しくは推定量と不偏性）。
統計学の土台としての分散
分散は単なる要約統計量にとどまらず、統計学の多くの概念の共通部品です。2変数が連動する度合いを測る共分散は、分散の「偏差×偏差」を2つの変数に広げたもので、それをそれぞれの標準偏差で割ったものが相関係数です。確率分布はその形を平均と分散で特徴づけられることが多く、信頼区間の幅も標準偏差から計算されます。回帰分析は残差の2乗和を最小にする直線を探し、分散分析は全体の2乗和を要因ごとに分解します。「ばらつきを2乗和で測る」というひとつの決断が、統計学というビルの基礎工事になっているのです。
試問
数直線の上に7つの点があり、各点と平均の距離（偏差）を一辺とする赤い正方形が描かれています。その面積の平均が分散（右の金の正方形）で、分散の平方根が標準偏差です。倍率を選ぶと、7点が並び方の形を保ったまま、平均から一斉に遠ざかります。
赤い正方形の一辺は点と平均の距離（偏差）。右の金の正方形は赤い正方形の面積の平均で、これが分散、その一辺が標準偏差です。どれか1点を端まで引っぱってみてください。
赤い正方形 = 各点の偏差の2乗。金の正方形 = その面積の平均（分散）。金の正方形の一辺 = 標準偏差（数直線の金の帯 = 平均±1SD）