標準化と偏差値

概要

標準化は、データの各値から平均を引き、分散と標準偏差の標準偏差で割る変換です。変換後の値はzスコアと呼ばれ、「その値が平均から標準偏差何個ぶん離れているか」を表します。どんなデータでも、標準化すれば平均0・標準偏差1に揃う — つまり、点数・身長・金額といった単位や尺度の違いを消し去り、「集団の中での相対的な位置」だけを取り出す操作です。

日本でおなじみの偏差値は、このzスコアを見やすく化粧直ししたものです。zスコアを10倍して50を足す、つまり「平均を50、標準偏差を10」に置き直した値が偏差値です。平均点ちょうどなら偏差値50、平均より標準偏差1個ぶん上なら60。数学80点と英語80点のどちらが「すごい」かは素点では比べられませんが、偏差値に直せば同じ物差しの上で比較できます。

なぜ生まれたか

根本にある課題は「異なる物差しで測った値は比べられない」ことです。数学は平均40点の難しい試験、英語は平均75点の易しい試験だったとき、素点の80点どうしを並べても意味がありません。意味のある比較には、「平均からどれだけ離れているか」を「その集団のばらつき」を単位にして測り直す必要があります。この発想は19世紀、正規分布の研究の中で生まれました。どんな正規分布も標準化すれば平均0・標準偏差1の「標準正規分布」1つに帰着するため、1枚の確率表であらゆる正規分布の確率が引ける — 計算資源が乏しい時代、この「表を1枚に集約できる」性質は決定的に重要でした。

偏差値のほうは教育測定の現場の発明です。zスコアは-2や1.5のように負の数や小数が現れて直感的に読みにくいため、平均50・標準偏差10に変換して「おおむね25〜75に収まる正の整数」として読めるようにしました。日本では1960年代以降、試験の難易度や受験集団が違っても成績を比べられる指標として入試の世界に定着しました。

詳細

変換の中身とzスコアの読み方

標準化の計算は2ステップだけです。まず値から平均を引く（これで「平均からの距離」になり、平均が0に揃う）。次に標準偏差で割る（これで距離の単位が「標準偏差何個ぶん」になり、ばらつきが1に揃う）。数学の試験が平均40点・標準偏差20点だったとき、80点のzスコアは 80から40を引いて20で割った2.0。英語が平均75点・標準偏差5点なら、80点のzスコアは1.0です。素点は同じ80点でも、数学の80点のほうが集団の中でずっと上位だと分かります。

偏差値の読み方と「上位何%」への換算

偏差値はzスコアの言い換えなので、読み方も対応します。偏差値60はz=1、70はz=2、40はz=−1。得点の分布が正規分布に近ければ、68-95-99.7ルールを使って順位の見積もりに換算できます。偏差値60（z=1）以上は上位約16%、偏差値70（z=2）以上は上位約2.3%、偏差値50は分位数でいう中央値、つまり真ん中の順位に相当します。「偏差値70はどれくらいすごいのか」という問いに「1000人中の上位23人程度」と答えられるのは、この対応関係のおかげです。

ただしこの換算が成り立つのは分布が正規分布に近いときだけです。得点分布が歪んでいれば偏差値と順位の対応はずれますし、理論上、偏差値は100を超えることも0を下回ることもありえます。また偏差値は「その母集団の中での位置」でしかないため、受験者層のレベルが違う模試の偏差値どうしを比べても意味がありません。標準化は単位の違いを消しますが、母集団の違いまでは消せない — ここが偏差値の最も誤解されやすいポイントです。

統計学・機械学習の随所に現れる操作

標準化は成績処理だけの道具ではありません。統計学の内部では至るところに顔を出します。外れ値の検出では「zスコアの絶対値が3を超えたら候補」という基準が定番ですし、相関係数は「2つの変数をそれぞれ標準化してから掛け合わせて平均したもの」と読めます。仮説検定のz検定・t検定も、推定値と仮説の差を標準誤差で割って標準化した統計量を使う、という同じ発想の上に立っています。「差をばらつきで割って無次元の物差しにする」ことは、統計学の根底を貫く発想なのです。

機械学習の前処理でも標準化は必須級です。身長（150〜190）と年収（数百万）のように桁の違う特徴量をそのまま使うと、距離計算に基づく手法や勾配法による学習が桁の大きい変数に支配されてしまうため、各特徴量を標準化して土俵を揃えます。似た目的の変換に、最小値0・最大値1に収める正規化（min-max法）がありますが、こちらは最小値と最大値、つまり外れ値に強く影響される点が標準化との使い分けの目安になります。もっとも標準化も平均と標準偏差を使う以上、外れ値の影響を受けます。外れ値が多いデータでは中央値と四分位範囲で割る頑健版の標準化が使われる、というところまで含めて押さえておくと実務で迷いません。