探索的データ分析

概要

探索的データ分析（EDA）は、仮説の検証に進む前に、まずデータそのものを図と要約統計量でさまざまな角度から眺め、分布の形・変数間の関係・異常や矛盾を発見していく分析の作法です。「このデータは何を語っているのか」を先入観を最小限にして聞き出す段階であり、統計モデルを当てはめる「確認」の前に置かれる「探索」のフェーズです。

EDAは特定の手法の名前ではなく、態度と道具箱の総称です。ヒストグラムで度数分布の形を見る、箱ひげ図でグループ間のばらつきを比べる、散布図で2変数の関係を眺める、代表値と分散と標準偏差でデータの中心と広がりを要約する — 個々の道具はどれも基礎的ですが、それらを「まず眺める、疑う、確かめる」というサイクルとして回すことがEDAの本体です。

今日のデータ分析や機械学習の実務では、EDAは省略できない最初の工程とされています。データの取り違え、欠損値の偏り、単位の混在といった問題は、モデルの精度指標には「もっともらしい嘘」としてしか現れません。それらを人間の目で捕まえられる唯一のタイミングが、この探索の段階だからです。

なぜ生まれたか

20世紀半ばまでの統計学は、仮説検定を頂点とする「確認」の理論を精緻化してきました。しかしその枠組みは「検証すべき仮説がすでにある」ことを前提としており、そもそも仮説はどこから来るのか、データを眺めて問いを見つける段階には理論も名前もありませんでした。実務家はグラフを描いてデータを吟味していましたが、それは統計学の正式な仕事とはみなされず、いきなり検定やモデル当てはめに進んで、データの異常や前提のズレを見逃す失敗が繰り返されていました。

この状況に正面から異を唱えたのが、統計学者ジョン・テューキーです。1977年の著書『Exploratory Data Analysis』で、彼は探索を確認と対等な統計学の一部として位置づけ、「おおよそ正しい問いへの近似的な答えは、間違った問いへの正確な答えに勝る」と説きました。箱ひげ図や幹葉表示など、手で素早く描けてデータの形と外れ値を浮かび上がらせる道具群も、このとき彼が考案・普及させたものです。その後、計算機と可視化ソフトの発達でグラフを描くコストが劇的に下がり、テューキーの思想は現代のデータサイエンスの標準工程として定着しました。

詳細

EDAのサイクル — 眺めて、問いを立てて、また眺める

EDAは一直線の手順ではなく、「図を描く → 気づきを得る → 新しい問いを立てる → また図を描く」という反復のサイクルです。典型的な流れを図にすると次のようになります。

出発点は1変数ずつの観察です。数値変数はヒストグラムで分布の形を、歪度と尖度が示すような裾の偏りまで含めて見ます。カテゴリ変数は度数を数え、想定外のカテゴリ（表記ゆれ、「不明」の混入）がないかを確かめます。あわせて欠損値の量とパターン、外れ値の有無を必ず確認します。次に変数の組み合わせに進み、数値×数値は散布図と相関、カテゴリ×数値はグループ別の箱ひげ図、カテゴリ×カテゴリはクロス集計という定番の対応で関係を眺めます。

要約統計量と図はセットで使う

平均・中央値・標準偏差・分位数といった要約統計量は、データを数個の数字に圧縮してくれる強力な道具ですが、単独では危険です。有名な「アンスコムの数値例」は、平均・分散・相関・回帰直線がすべてほぼ同一なのに、散布図を描くとまったく異なる4つのデータセットを示しました。直線関係、曲線関係、1点の外れ値が相関を作っているだけのもの — 数字の要約はこれらを区別できません。だからEDAの鉄則は「要約統計量と図は必ずセットで見る」です。数字は比較と再現性のために、図は形と異常の発見のために、互いの死角を補います。ここでデータ可視化の原則が効いてきます。問いに合ったグラフを選べるほど、探索の解像度は上がります。

発見の典型例 — EDAは何を見つけるか

EDAで見つかるものは大きく3種類あります。第一にデータの不備です。単位の混在（メートルとセンチ）、コピー由来の重複行、「-999」のような欠損コードが数値として混ざっている、時系列の抜け — こうした問題は集計を静かに狂わせるため、発見が早いほど傷が浅くて済みます。第二に構造の発見です。ヒストグラムに山が2つあれば異質な集団の混在を、散布図の曲線パターンは変数変換の必要性を、グループ別に分けたときの傾向の逆転は交絡する第3の変数を示唆します。第三に仮説の種です。「この2変数の関係は他の層でも成り立つのか?」という気づきが、次の検証すべき問いになります。

探索と確認は分ける — EDAの倫理

EDAには重要な規律があります。探索で見つけたパターンを、同じデータでの仮説検定で「確認」してはいけない、ということです。データを何十通りも眺めれば、偶然だけでも「面白いパターン」は必ず見つかります。それを同じデータで検定すれば、有意な結果が出やすいのは当然で、これはpハッキング（有意になるまで探索を繰り返す不正）と地続きの誤りです。原則は「探索したデータと検証するデータを分ける」こと。新しくデータを取り直す、あるいは最初にデータを探索用と検証用に分割しておくのが定石で、機械学習で訓練データとテストデータを分ける習慣と同じ発想です。テューキー自身、探索と確認は別の営みであり、両方が必要だと強調していました。

実務での型

実務のEDAには、おおよその型があります。(1) まずデータの素性を確認する — 行数・列数、各列の型、単位、収集方法。(2) 1変数ずつの分布・欠損・外れ値の確認。(3) 目的変数と各変数の関係、変数どうしの相関の確認。(4) 気づきを記録し、データの修正方針と分析の仮説をまとめる。この間、コードと図を残しながら進めると、後から「なぜこの前処理をしたのか」を説明できます。EDAは地味で時間もかかりますが、分析の失敗の多くは高度なモデルの選択ミスではなく、データを見ずに進んだことに起因します。「モデルより先に、まずデータを見る」— この一文がEDAのすべてです。