外れ値

概要

外れ値は、データの大多数から極端に離れた位置にある値のことです。社員の年収リストに紛れ込んだ役員の報酬、センサーの記録に混ざった通信エラーの異常な数値、テストの点数一覧の中の記入ミス — こうした「仲間はずれ」の値は、たった1つでも平均や分散と標準偏差といった要約統計量を大きく歪め、分析の結論を狂わせることがあります。

外れ値の扱いが難しいのは、「機械的に消してよいゴミ」と「最も重要な発見」の両方がありうるからです。入力ミスなら修正か除外が正解ですが、不正取引の兆候や新しい現象の発見が外れ値として現れることもあります。だからこそ外れ値の議論は、「どう検出するか」という基準の話と、「検出した後どう扱うか」という判断の話の二段構えになります。

なぜ生まれたか

外れ値の問題は、観測というものが始まった瞬間から存在していました。18〜19世紀の天文学者たちは、同じ天体の観測値の中に明らかに浮いた値を見つけたとき、それを捨ててよいのか悩みました。恣意的に捨てれば「都合の悪いデータを消した」ことになり、残せば平均が歪む。この板挟みから、「どこからが捨ててよいほど極端か」を主観ではなく規則で決めようとする試みが始まり、19世紀半ばには早くも棄却基準（ピアスの基準、ショーヴネの基準など）が提案されています。外れ値の検出基準とは、「例外の扱いを個人の裁量から切り離し、再現可能な手続きにする」ための発明なのです。

20世紀後半には発想の転換が起きます。テューキーらは「外れ値を検出して取り除く」のではなく、「外れ値が混ざっていても壊れにくい統計量を使う」方向を推し進めました。中央値や四分位数を軸にした頑健（ロバスト）統計の流れで、箱ひげ図の外れ値表示もこの思想の産物です。

詳細

外れ値は平均を引きずる

外れ値の影響を最も受けやすいのが平均です。9人の年収が400万円前後の部署に年収3000万円の1人が加わると、平均は約660万円まで跳ね上がり、「全員が実際より豊かに見える」要約になってしまいます。一方、代表値のうち中央値はほとんど動きません。分散や標準偏差は平均からの距離を2乗して集計するため、影響はさらに深刻です。外れ値が1つ混ざっているだけで、相関係数や回帰直線が別物になることもあります。

検出の基準 — σ基準とIQR基準

代表的な検出基準は2系統あります。1つ目は標準偏差を物差しにする方法で、標準化して得たzスコア（平均から標準偏差何個ぶん離れているか）の絶対値が2や3を超えたら外れ値候補とみなします。正規分布なら ±3σ の外に出る値は0.3%ほどしかないため、妥当な線引きです。ただしこの方法には弱点があります。平均も標準偏差も外れ値自身に引きずられるため、強烈な外れ値があるほど基準線が外側にずれて、かえって検出しにくくなるのです。

2つ目はテューキーが提案した四分位数ベースの方法です。第1四分位数と第3四分位数の間の幅（四分位範囲、IQR）を測り、「第1四分位数 − 1.5×IQR」より下、または「第3四分位数 + 1.5×IQR」より上の値を外れ値候補とします。四分位数は外れ値に引きずられないので、基準そのものが頑健です。箱ひげ図でヒゲの外に個別の点として描かれるのは、まさにこの基準で拾われた値です。このほか、2変数以上の関係の中でだけ浮いて見える外れ値（1変数ずつ見ると普通なのに、組み合わせが異常）もあり、これは散布図で眺めることが最良の検出法になります。

検出した後 — 除外か、修正か、調査か

外れ値を見つけたら、消す前に必ず「なぜこの値が生まれたか」を問います。判断の流れはおおよそ次のとおりです。

明らかな記録ミス（身長170cmが1700cmと入力されている等）なら修正するか、修正できなければ欠損値として扱います。本物の値なら安易に消してはいけません。残したうえで、中央値やIQRのような頑健な統計量を使う、対数変換で裾を縮める、外れ値ありとなしの両方で結果を報告する、といった方法で影響を管理します。最も重要な原則は透明性です。「どの基準で何件を、どんな理由で処理したか」を必ず記録して報告する — これを怠ると、都合の良い結果を作るためのデータ操作と区別が付かなくなります。

外れ値は発見の入口でもある

最後に、外れ値を「ノイズ」とだけ見るのはもったいない、という視点を挙げておきます。クレジットカードの不正利用検知や機器の故障予兆検知は、まさに外れ値（異常値）を積極的に探す技術で、機械学習の分野では異常検知（anomaly detection）という一大領域になっています。科学史でも、想定から外れた観測値の追究が新発見につながった例は数多くあります。探索的データ分析で外れ値に出会ったら、まず消す方法ではなく、その値が語っていることに耳を傾ける — それが外れ値との正しい付き合い方です。