外れ値
Outlier ・ はずれち
他の大多数から極端に離れた値。頑健な基準で検出し、消す前に原因を調べる判断が問われる
✦ 30秒で試す — 航海外れ値が2つあると、互いをかばって見つからなくなる外れぎみの点を2つ足すと、この柵は？予想してみる概要
外れ値は、データの大多数から極端に離れた位置にある値のことです。社員の年収リストに紛れ込んだ役員の報酬、センサーの記録に混ざった通信エラーの異常な数値、テストの点数一覧の中の記入ミス——こうした「仲間はずれ」の値は、たった1つでも平均や分散と標準偏差といった要約統計量を大きく歪め、分析の結論を狂わせることがあります。
外れ値の扱いが難しいのは、「機械的に消してよいゴミ」と「最も重要な発見」の両方がありうるからです。入力ミスなら修正か除外が正解ですが、不正取引の兆候や新しい現象の発見が外れ値として現れることもあります。だから外れ値の議論は、「どう検出するか」という基準の話と、「検出した後どう扱うか」という判断の話の二段構えになります。そして検出の基準そのものが外れ値に振り回される、という落とし穴が、この話をさらに一段ややこしくしています。
なぜ生まれたか
外れ値の問題は、観測というものが始まった瞬間から存在していました。18〜19世紀の天文学者たちは、同じ天体の観測値の中に明らかに浮いた値を見つけたとき、それを捨ててよいのか悩みました。恣意的に捨てれば「都合の悪いデータを消した」ことになり、残せば平均が歪む。この板挟みから、「どこからが捨ててよいほど極端か」を主観ではなく規則で決めようとする試みが始まり、19世紀半ばにはピアスの基準（1852年）やショーヴネの基準（1863年）といった棄却基準が提案されます。20世紀には、正規分布を仮定して最も極端な値が偶然で説明できるかを検定するグラブス検定（1950年）も生まれました。外れ値の検出基準とは、例外の扱いを個人の裁量から切り離し、再現可能な手続きにするための発明です。
20世紀後半には発想の転換が起きます。テューキーやハンペルらは、「外れ値を検出して取り除く」前提そのものを問い直し、「外れ値が混ざっていても壊れにくい統計量を使う」方向を推し進めました。平均と標準偏差の代わりに中央値や分位数を軸にする頑健（ロバスト）統計の流れで、箱ひげ図の外れ値表示もこの思想の産物です。平均や標準偏差を使った検出基準は、検出したい外れ値そのものに基準を引きずられるという根本的な弱点を抱えていたからです。
詳細
外れ値は平均を引きずる
外れ値の影響を最も受けやすいのが平均です。年収400万円前後の9人の部署に年収3000万円の1人が加わると、平均は約405万円から約665万円に跳ね上がり、「全員が実際より豊かに見える」要約になってしまいます。一方、代表値のうち中央値はほとんど動きません。
分散や標準偏差は平均からの距離を2乗して集計するため、影響はさらに深刻です。上の例では、標準偏差は約25万円から約820万円へと30倍以上に膨らみます。外れ値が1つ混ざっているだけで、相関係数や回帰分析の直線が別物になることもあります。統計量が「何個までの外れ値なら壊れずに耐えられるか」の割合を崩壊点と呼び、平均の崩壊点は0%（1点でいくらでも動かせる）、中央値は50%（半分近くが外れ値でも壊れない）です。
検出の基準 — 平均±3SD と、その弱点
最もよく使われる基準は、標準偏差を物差しにする方法です。値を標準化して得た z スコア（平均から標準偏差何個ぶん離れているか）の絶対値が3を超えたら外れ値候補とみなします。正規分布なら ±3σ の外に出る値は0.3%ほどしかないため、一見妥当な線引きです。
ところがこの基準には構造的な弱点があります。平均も標準偏差も、判定したい外れ値自身を含めて計算するからです。遠い外れ値ほど標準偏差を膨らませ、柵を外へ押し広げます。外れ値が2つ以上あると、遠いほうが柵を広げたせいで、もう一方が柵の内側に隠れてしまうことがあります。これをマスキング（隠蔽）と呼びます。
金色の2つの点が外れ値の候補です。まず片方を右へ遠ざけて、赤い柵（平均±3SD）と青緑の柵（中央値±3MAD）の外に出してみてください。
赤 = 平均 ± 3×標準偏差、青緑 = 中央値 ± 3×MAD（MAD は正規分布の σ に揃えるため 1.4826 倍）。柵の外に出た点に同じ色の輪が付く
部品では、片方の点をずっと遠くへ運ぶと、赤い柵（平均±3SD）が一緒に広がり、もう片方の点が検出されなくなるのが分かります。データが30点程度なら、1つの点がどれほど遠くても z が約5.3を超えられないという数学的な上限もあり、小さな標本では「3SD 基準では原理的に捕まらない」状況さえ起こります。逆向きの失敗もあります。外れ値に引っぱられた平均のせいで、正常な値のほうが柵の外に押し出されて誤検出されることがあり、これはスワンピングと呼ばれます。
頑健な基準 — 四分位範囲と MAD
この弱点への処方箋が、外れ値に動かされない物差しを使うことです。1つはテューキーが提案した分位数ベースの方法で、第1四分位数と第3四分位数の間の幅（四分位範囲、IQR）を測り、「第1四分位数 − 1.5×IQR」より下、または「第3四分位数 + 1.5×IQR」より上の値を外れ値候補とします。箱ひげ図でひげの外に個別の点として描かれるのは、この基準で拾われた値です。
もう1つが、中央値からの距離の中央値である MAD（中央絶対偏差）を使う方法です。MAD に 1.4826 を掛けると、データが正規分布のときに標準偏差と同じ大きさになるので、「中央値 ± 3×MAD」を平均±3SD の頑健版として使えます。これはハンペルの判定法とも呼ばれ、時系列のセンサーデータから異常値を拾う定番の手法になっています。中央値も MAD もデータの多数派で決まるので、部品の青緑の柵のように、外れ値をどれだけ遠くへ運んでもほとんど動きません。
どの基準を使うにせよ、データの件数には注意が要ります。正規分布でも0.3%は ±3σ の外に出るので、1万件のデータなら外れ値が1つもなくても約30件が「3SD 超え」になります。件数が多いほど、基準を超えた値を機械的に異常と見なすことはできなくなります。
1変数では見えない外れ値
外れ値は1変数ずつ見ているだけでは見つからないこともあります。身長 150cm も体重 80kg もそれぞれは珍しくありませんが、その組み合わせは群れから外れているかもしれません。こうした多変量の外れ値は、散布図で眺めるのが最良の発見法で、変数が多いときは変数間の相関を考慮した距離であるマハラノビス距離で測ります（その平均や共分散も頑健な方法で推定しないと、やはりマスキングが起こります）。
回帰分析の文脈では、外れ値の「効き方」をさらに区別します。予測値から大きく外れた点（残差の大きい点）と、x が群れから遠く離れていて直線を引き寄せる力を持つ点（てこ比、レバレッジの高い点）は別物で、両方を兼ねた点が結論を大きく左右する影響点になります。1点を抜いたときに係数がどれだけ変わるかを測るクックの距離などを使って洗い出す手順は、残差分析とモデル診断の中心的な作業です。
検出した後 — 除外か、修正か、調査か
外れ値を見つけたら、消す前に必ず「なぜこの値が生まれたか」を問います。判断はおおよそ次のように分かれます。
明らかな記録ミス（身長170cmが1700cmと入力されている等）なら修正するか、修正できなければ欠損値として扱います。本物の値なら安易に消してはいけません。残したうえで、中央値や MAD のような頑健な統計量を使う、対数変換で裾を縮める、順位にもとづくノンパラメトリック検定を使う、外れ値ありとなしの両方で結果を報告する、といった方法で影響を管理します。最も重要な原則は透明性です。「どの基準で何件を、どんな理由で処理したか」を記録して報告しないと、都合の良い結果を作るためのデータ操作と区別が付かなくなります。基準を結果を見てから選ぶことも、同じ理由で避けるべきです。
外れ値は発見の入口でもある
最後に、外れ値を「ノイズ」とだけ見るのはもったいない、という視点を挙げておきます。クレジットカードの不正利用検知や機器の故障予兆検知は、まさに外れ値を積極的に探す技術で、機械学習の分野では異常検知（anomaly detection）という一大領域になっています。科学史でも、想定から外れた観測値の追究が新発見につながった例は数多くあります。探索的データ分析で外れ値に出会ったら、まず消す方法ではなく、その値が語っていることに耳を傾ける——それが外れ値との正しい付き合い方です。
試問
数直線上に28点のふつうのデータと、動かせる金色の2点があります。外れ値を見つける「柵」は2種類で、赤は平均 ± 3SD（標準偏差の3倍）、青緑は中央値 ± 3MAD（MAD は中央値からのずれの中央値で、外れ値に引きずられにくいばらつきの物差し）です。柵の外に出た点が外れ値と判定されます。金色の点は左右どちらへも動かせます。
金色の2つの点が外れ値の候補です。まず片方を右へ遠ざけて、赤い柵（平均±3SD）と青緑の柵（中央値±3MAD）の外に出してみてください。
赤 = 平均 ± 3×標準偏差、青緑 = 中央値 ± 3×MAD（MAD は正規分布の σ に揃えるため 1.4826 倍）。柵の外に出た点に同じ色の輪が付く