分散と標準偏差
Variance and Standard Deviation ・ ぶんさんとひょうじゅんへんさ
データが代表値のまわりにどれだけ散らばっているかを測る指標
概要
分散と標準偏差は、データが平均のまわりに「どれだけ散らばっているか」を測る指標です。平均点60点のテストと聞いても、全員が55〜65点に固まっているのか、20点と100点に二極化しているのかは分かりません。この「ばらつきの大きさ」を数値にしたものが分散であり、その平方根(2乗する前の単位に戻した値)が標準偏差です。
計算の考え方は素直です。各データが平均からどれだけ離れているか(偏差)を求め、それを2乗して平均したものが分散です。2乗するのは、プラス方向のずれとマイナス方向のずれが打ち消し合わないようにするためです。ただし2乗した結果、単位も2乗されてしまう(点数なら「点の2乗」)ので、平方根を取って元の単位に戻したものが標準偏差(記号では σ)です。日常的な解釈には標準偏差の方が使いやすく、「平均60点、標準偏差10点」なら「多くの人は50〜70点あたりにいる」と読めます。
代表値が「データの中心はどこか」に答えるのに対し、分散と標準偏差は「中心からどれだけ広がっているか」に答えます。この2つが揃ってはじめて、データの姿をひとことで語れるようになります。
なぜ生まれたか
平均だけでデータを語ることの危うさは、比べてみるとすぐに分かります。平均気温がどちらも15度の2つの都市があっても、一方は年間を通して10〜20度、もう一方は氷点下から35度まで振れるなら、住み心地はまったく違います。投資でも同じで、平均リターンが同じ2つの商品のうち、値動きの激しい方が明らかにリスクが高い。「平均が同じでも中身が違う」を区別する物差しが必要でした。
素朴には「平均からのずれの平均」を取りたくなりますが、ずれをそのまま足すとプラスとマイナスが必ず打ち消し合ってゼロになってしまいます。絶対値を取る方法もありますが、数学的に扱いにくい。そこで19世紀末から20世紀初頭にかけて統計学を体系化した研究者たち(分散という用語はロナルド・フィッシャーによる)は、偏差を2乗して平均する方式を採用しました。2乗和は微分などの数学的操作と相性がよく、後の回帰分析(最小2乗法)や仮説検定など、統計学の主要な道具がこの上に組み立てられていきました。
詳細
計算を一度だけ手で追う
5人のテストの点数が 50, 55, 60, 65, 70 だとします。平均は60点。各値の偏差は -10, -5, 0, +5, +10 で、これを2乗すると 100, 25, 0, 25, 100。平均すると分散は 50、その平方根を取って標準偏差は約7.1点です。もし点数が 40, 50, 60, 70, 80 なら、平均は同じ60点でも分散は200、標準偏差は約14.1点になり、「散らばりが2倍」であることが数値で表せます。
標準偏差の読み方 — 「ものさし」としての使い方
標準偏差の真価は、「平均からのずれの大きさ」を測る共通のものさしになることです。データが正規分布に近い形をしているとき、平均 ±1σ の範囲に全体の約68%、±2σ に約95%が収まるという経験則が成り立ちます。「平均から2σ以上離れた値はかなり珍しい」という感覚は、品質管理での異常検知や、外れ値の判定に広く応用されています。
身近な例が偏差値です。偏差値は「平均を50、標準偏差を10に揃え直した得点」で、偏差値60は「平均より1σ上」を意味します。科目ごとに平均も散らばりも違うテストの成績を、同じものさしで比べられるのはこの標準化のおかげです。同様に、単位の違うデータ同士の散らばりを比べたいときは、標準偏差を平均で割った変動係数を使うこともあります。
母分散と標本分散 — nで割るか、n−1で割るか
実務で必ず出会う細かい論点が「nで割るか、n−1で割るか」です。手元のデータが全体そのもの(母集団)なら偏差の2乗和をデータ数nで割ればよいのですが、母集団と標本の関係で、標本から母集団の分散を推定する場合は n−1 で割ります(不偏分散)。標本の平均は標本自身に寄り添うため、素朴に計算した分散は真の分散よりわずかに小さく出る — その偏りを補正するのが n−1 です。表計算ソフトに VAR.P と VAR.S の2種類の関数があるのはこのためです。
統計学の土台としての分散
分散は単なる要約統計量にとどまらず、統計学の多くの概念の共通部品です。2変数が連動する度合いを測る相関は、共分散(2変数版の分散)をそれぞれの標準偏差で割って定義されます。確率分布はその形を平均と分散で特徴づけられることが多く、信頼区間の幅も標準偏差から計算されます。「ばらつきを2乗和で測る」というひとつの決断が、統計学というビルの基礎工事になっているのです。
