残差分析とモデル診断
Residual Analysis and Model Diagnostics ・ ざんさぶんせきともでるしんだん
残差のパターンからモデルの仮定の破れや当てはまりの悪さを見抜く点検作業
✦ 30秒で試す — 航海よく当たる直線でも、外れ方に「くせ」があれば要注意全部の点に直線を当てはめたとき、右端の1点の残差は？予想してみる概要
残差分析とモデル診断は、回帰分析などの統計モデルを当てはめた後に行う「点検作業」です。残差とは、実際の観測値からモデルの予測値を引いた差のこと。モデルがデータの構造をうまく捉えていれば、残差には規則性が残らず、意味のない雑音だけになるはずです。逆に残差に何らかのパターン——曲がり、ばらつきの変化、極端な値——が見えたら、それはモデルがデータの何かを捉え損ねているサインです。
回帰分析の推定や検定は、「関係は直線的」「誤差のばらつきは一定」「誤差は互いに独立」「誤差はおおむね正規分布」といった仮定の上に成り立っています。これらの仮定は当てはめる前のデータを見ただけでは確かめにくいのですが、残差を見れば間接的に検証できます。残差は「モデルが説明しきれなかった部分」の標本であり、仮定が満たされているなら無構造なはず——この論理が残差分析の背骨です。
モデル診断は地味な工程ですが、これを省いた分析は「見た目の数字だけ立派な誤ったモデル」を生みがちです。決定係数（R²）が高くても仮定が壊れていることはあり、逆に R² が低くても正しく使えるモデルはあります。当てはめて終わりではなく、点検して初めて分析は完了する——それがこの語彙の伝えるところです。
なぜ生まれたか
最小二乗法による回帰は19世紀から使われてきましたが、20世紀半ばまでの実務では「係数と決定係数を出して終わり」という使い方が支配的でした。計算が手作業だった時代、残差を一つひとつ描いて眺める余裕がなかったという事情もあります。しかし仮定が壊れたデータに回帰を機械的に当てはめると、係数の推定は歪み、信頼区間やp値は当てにならなくなります。問題は、その壊れ方が要約統計量には現れないことでした。
この危うさを鮮烈に示したのが、1973年のアンスコムの数値例です。彼は、平均・分散・相関係数・回帰直線・R² がすべてほぼ同一なのに、散布図を描くと全く異なる4つのデータセット（アンスコムの四重奏）を作ってみせました。1つは素直な直線関係、1つは明らかな曲線、1つは1点の外れ値が直線を歪めたもの、1つは1点だけで傾きが決まっているもの。要約統計量は同じでも、モデルとして許される状況はまるで違う——「数字を出す前に、そして出した後に、図を描け」というメッセージが、テューキーの探索的データ分析の潮流とともに残差プロットを標準の作法へ押し上げました。計算機の普及で残差の計算と可視化が容易になったことも、診断を定着させた大きな要因です。
詳細
残差プロットの読み方
最も基本の診断図は、横軸に予測値（単回帰なら x でも同じ）、縦軸に残差をとった残差プロットです。理想は、残差がゼロの水平線のまわりに、幅一定で無秩序に散らばっている状態。ここに構造が見えたら、パターンごとに疑うべき問題が対応しています。
曲線状のパターンは、直線モデルでは捉えられない非線形の関係が残っている証拠で、変数の変換（対数など）や2乗項の追加、より柔軟なモデルの検討を促します。扇形（じょうご形）に広がるパターンは、誤差のばらつきが予測値とともに変化する「不等分散」のサインです。係数の推定自体は大きく歪みませんが、係数の標準誤差が信用できなくなるため、検定や区間推定が狂います。対処としては、応答の対数変換、重み付き最小二乗法、あるいは不等分散に頑健な標準誤差の利用が定番です。また時系列データでは、残差を時間順に並べて波打っていないか（自己相関がないか）を確認します。誤差の独立性の破れは、標準誤差を大きく過小評価させる代表的な原因です。
なぜ散布図ではなく残差プロットを見るのでしょうか。散布図では、直線の傾きが縦軸の目盛りの大半を使ってしまい、直線からのずれは細い帯に押し込められます。残差プロットは、その傾きを取り除いて水平に倒し、ずれだけを縦いっぱいに拡大した図です。下の部品で「残差プロットにする」を押し、散布図では見えにくかった曲がりやじょうご形が現れる様子を確かめてください。
R² = 0.95 と高く、直線で十分に見えます。本当にそうでしょうか——「残差プロットにする」を押してください。
赤い縦線 = 残差（点と直線の縦のずれ）。残差プロットは、この縦線だけを 0 の線から立て直した図
正規性の確認 — Q-Qプロット
誤差の正規性は、残差の分位数を正規分布の理論分位数と突き合わせる Q-Qプロットで確認します。点がほぼ直線上に並べば正規性はおおむね妥当、両端が直線から反り上がる・反り下がるなら裾の重い分布や歪みを疑います。なお正規性の仮定は4つの仮定の中では比較的軽く、標本が大きければ中心極限定理のおかげで係数の検定は頑健です。優先して疑うべきは線形性・独立性・等分散性の側です。ただし予測区間（個々の新しい観測値がどこに入るか）は誤差の分布そのものに依存するので、標本が大きくても正規性の破れは効いてきます。
外れ値・てこ比・影響力
診断のもう1つの柱は、「少数の点がモデルを支配していないか」の確認です。ここでは3つの概念を区別します。残差が大きい点（外れ値）、説明変数の空間で孤立した位置にある点（てこ比が高い点）、そして取り除くと係数が大きく変わる点（影響力の大きい点）。最小二乗法は残差を二乗で罰するため、どの点も直線を自分の方へ引き寄せますが、その力はてこの原理のように x の端にある点ほど強く働きます。
危険なのは、てこ比が高くかつ外れている点です。たった1点で回帰直線の傾きを書き換えてしまううえ、直線を自分の側へ引き寄せたぶん自分の残差は小さく見えるので、残差だけを眺めていても見つけにくいのです。影響力の指標としてはクックの距離（その点を除いたときに予測値全体がどれだけ動くか）が代表的で、目立つ点があればその観測を確認し、入力ミスなのか、モデルの適用範囲外の個体なのか、それとも本質的な情報なのかを判断します。機械的に削除するのではなく「除いた場合と除かない場合の両方を報告する」のが誠実な作法です。
説明変数どうしの重なり — VIF
重回帰分析では、残差とは別にもう1つ確認すべきことがあります。説明変数どうしが強く相関していると、係数の標準誤差が膨らみ、符号が常識と逆になったり、データを少し変えただけで係数が大きく動いたりします。これが多重共線性で、残差プロットには何も現れません。各説明変数を残りの説明変数で回帰したときの決定係数 R² から VIF = 1 ÷ (1 − R²) を計算し、VIF が大きい変数（目安として 5〜10 以上）がないかを確かめます。VIF が 10 なら係数の分散は相関がない場合の 10 倍、信頼区間の幅は約 3.2 倍です。
決定係数の使いどころと限界
モデル全体の当てはまりの要約としては決定係数 R²（応答のばらつきのうちモデルが説明した割合）が最もよく使われます。ただし R² には明確な限界があります。R² は説明変数を加えて下がることがなく、無関係な変数を足しても偶然のぶんだけほぼ必ず上がるため、重回帰では変数の数で補正した自由度調整済み R² を見ます。さらに根本的な限界として、R² は仮定の妥当性について何も語りません。上の部品の「曲線（2次）」は R² が 0.9 を超えていても残差にははっきり曲がりが残っていましたし、アンスコムの四重奏はまさに「同じ R² でも診断結果は正反対」の実例です。R² が高いことはモデルが正しいことを意味せず、低いことは無価値を意味しない——予測が目的なら交差検証などで測った新しいデータでの予測誤差、解釈が目的なら診断の総合結果で判断します。
診断は反復のプロセス
モデル診断は合否判定というより、モデルを育てる反復のプロセスです。当てはめる → 残差を見る → 変数変換や項の追加で手当てする → もう一度当てはめる、というループを回し、残差から構造が消えたところで手を止めます。ただし、残差を見ながらモデルを何度も作り替えると、手元のデータの偶然にまで合わせ込んでしまう危険もあるので、最終的な評価は別のデータで行うのが安全です。すべての仮定を完璧に満たすデータは現実にはほぼ存在しないので、目標は「結論に影響するほどの破れがない」ことの確認です。「すべてのモデルは間違っているが、いくつかは役に立つ」というボックスの言葉のとおり、診断とは、そのモデルが「役に立つ間違い方」をしているかを見極める技術なのです。
試問
回帰直線を引いたあとは、残差（各点の実際の値と直線の予測値との差）の出方や係数のようすを見て、モデルに問題がないかを点検します。下の8つの所見が、それぞれどの問題を疑わせるかを考えてください。
8つの診断所見を、それぞれ疑うべき問題の箱に仕分けよ
項目を選んでから、入れる箱を選びます