残差分析とモデル診断

概要

残差分析とモデル診断は、回帰分析などの統計モデルを当てはめた後に行う「点検作業」です。残差とは、実際の観測値からモデルの予測値を引いた差のこと。モデルがデータの構造をうまく捉えていれば、残差には規則性が残らず、意味のない雑音だけになるはずです。逆に残差に何らかのパターン——曲がり、ばらつきの変化、極端な値——が見えたら、それはモデルがデータの何かを捉え損ねているサインです。

回帰分析の推定や検定は、「関係は直線的」「誤差のばらつきは一定」「誤差は互いに独立」「誤差はおおむね正規分布」といった仮定の上に成り立っています。これらの仮定はデータを見ただけでは確認できませんが、残差を見れば間接的に検証できます。残差は「モデルが説明しきれなかった部分」の標本であり、仮定が満たされているなら無構造なはず——この論理が残差分析の背骨です。

モデル診断は地味な工程ですが、これを省いた分析は「見た目の数字だけ立派な誤ったモデル」を生みがちです。決定係数（R²）が高くても仮定が壊れていることはあり、逆に R² が低くても正しく使えるモデルはあります。当てはめて終わりではなく、点検して初めて分析は完了する——それがこの語彙の伝えるところです。

なぜ生まれたか

最小2乗法による回帰は19世紀から使われてきましたが、20世紀半ばまでの実務では「係数と決定係数を出して終わり」という使い方が支配的でした。計算が手作業だった時代、残差を一つひとつ描いて眺める余裕がなかったという事情もあります。しかし仮定が壊れたデータに回帰を機械的に当てはめると、係数の推定は歪み、信頼区間やp値は当てにならなくなります。問題は、その壊れ方が要約統計量には現れないことでした。

この危うさを鮮烈に示したのが、1973年のアンスコムの数値例です。彼は、平均・分散・相関係数・回帰直線・R² がすべてほぼ同一なのに、散布図を描くと全く異なる4つのデータセット（アンスコムの四重奏）を作ってみせました。1つは素直な直線関係、1つは明らかな曲線、1つは1点の外れ値が直線を歪めたもの、1つは1点だけで傾きが決まっているもの。要約統計量は同じでも、モデルとして許される状況はまるで違う——「数字を出す前に、そして出した後に、図を描け」というメッセージが、探索的データ分析の潮流とともに残差プロットを標準の作法へ押し上げました。計算機の普及で残差の計算と可視化が容易になったことも、診断を定着させた大きな要因です。

詳細

残差プロットの読み方

最も基本の診断図は、横軸に予測値、縦軸に残差をとった残差プロットです。理想は、残差がゼロの水平線のまわりに、幅一定で無秩序に散らばっている状態。ここに構造が見えたら、パターンごとに疑うべき問題が対応しています。

曲線状のパターンは、直線モデルでは捉えられない非線形の関係が残っている証拠で、変数の変換（対数など）や2乗項の追加、より柔軟なモデルの検討を促します。扇形に広がるパターンは、誤差のばらつきが予測値とともに変化する「不等分散」のサインです。係数の推定自体は大きく歪みませんが、標準誤差が信用できなくなるため、検定や区間推定が狂います。対処としては、応答の対数変換、重み付き最小2乗法、あるいは不等分散に頑健な標準誤差の利用が定番です。また時系列データでは、残差を時間順に並べて波打っていないか（自己相関がないか)を確認します。誤差の独立性の破れは、標準誤差を大きく過小評価させる代表的な原因です。

正規性の確認 — Q-Qプロット

誤差の正規性は、残差の分位数を正規分布の理論分位数と突き合わせるQ-Qプロットで確認します。点がほぼ直線上に並べば正規性は概ね妥当、両端が直線から反り上がる・反り下がるなら裾の重い分布や歪みを疑います。なお正規性の仮定は4つの仮定の中では比較的軽く、標本が大きければ中心極限定理のおかげで検定は頑健です。優先して疑うべきは線形性・独立性・等分散性の側です。

外れ値・てこ比・影響力

診断のもう1つの柱は、「少数の点がモデルを支配していないか」の確認です。ここでは3つの概念を区別します。残差が大きい点（外れ値）、説明変数の空間で孤立した位置にある点（てこ比が高い点）、そして取り除くと係数が大きく変わる点（影響力の大きい点）。危険なのは3つ目で、てこ比が高くかつ外れている点は、たった1点で回帰直線の傾きを書き換えてしまいます。影響力の指標としてはクックの距離が代表的で、目立つ点があればその観測を確認し、入力ミスなのか、モデルの適用範囲外の個体なのか、それとも本質的な情報なのかを判断します。機械的に削除するのではなく「除いた場合と除かない場合の両方を報告する」のが誠実な作法です。

決定係数の使いどころと限界

モデル全体の当てはまりの要約としては決定係数 R²（応答のばらつきのうちモデルが説明した割合）が最もよく使われます。ただし R² には明確な限界があります。説明変数を増やせば無関係な変数でも必ず上がるため、重回帰分析では変数の数で補正した自由度調整済み R² を見ます。さらに根本的な限界として、R² は仮定の妥当性について何も語りません。アンスコムの四重奏はまさに「同じ R² でも診断結果は正反対」の実例です。R² が高いことはモデルが正しいことを意味せず、低いことは無価値を意味しない——予測が目的なら別データでの予測誤差、解釈が目的なら診断の総合結果で判断します。

診断は反復のプロセス

モデル診断は合否判定というより、モデルを育てる反復のプロセスです。当てはめる → 残差を見る → 変数変換や項の追加で手当てする → もう一度当てはめる、というループを回し、残差から構造が消えたところで手を止めます。すべての仮定を完璧に満たすデータは現実にはほぼ存在しないので、目標は「結論に影響するほどの破れがない」ことの確認です。「すべてのモデルは間違っているが、いくつかは役に立つ」というボックスの言葉のとおり、診断とは、そのモデルが「役に立つ間違い方」をしているかを見極める技術なのです。