重回帰分析

概要

重回帰分析は、線形回帰を「説明変数が複数ある」場合に拡張した手法です。家賃を面積だけで説明するのが単回帰なら、面積・駅からの距離・築年数の3つで説明するのが重回帰です。目的変数を、各説明変数に係数を掛けて足し合わせた式（線形結合）で予測し、係数は最小二乗法で推定します。

重回帰の真価は予測精度の向上だけではありません。各説明変数に付く係数（偏回帰係数）が「他の変数の値を固定したうえで、この変数が1増えると目的変数がいくら変わるか」を表すことにあります。つまり、絡み合った複数の要因の影響を統計的に切り分けられる — 実験で条件を統制できない観察データから要因の効果を測りたい、という社会科学・医学・ビジネス分析の中心的な道具になっているのはこのためです。

なぜ生まれたか

単回帰の世界では「xとyの関係」しか扱えませんが、現実の現象が1つの要因だけで決まることはまれです。しかも観察データでは要因どうしが絡み合っています。たとえば「コーヒーをよく飲む人は病気が多い」という相関が見つかっても、コーヒー好きには喫煙者が多いだけかもしれない。第三の変数（交絡因子）が背後にいる限り、単純な相関から因果らしい効果は読み取れません。

理想は、喫煙量が同じ人だけを集めてコーヒーの効果を見ることですが、条件の組み合わせごとにデータを分けていくと、あっという間に各グループのデータが足りなくなります。重回帰はこの「条件を揃えた比較」を、データを分割する代わりにモデルの構造で実現する発明でした。喫煙量も説明変数としてモデルに入れれば、コーヒーの係数は「喫煙量を固定したときのコーヒーの効果」として推定されます。19世紀末から20世紀初頭にユール（Yule）らが貧困政策の効果分析でこの枠組みを確立して以来、「他の条件を統計的に揃えて効果を測る」標準手法として使われ続けています。

詳細

偏回帰係数 — 「他を固定して」の意味

重回帰のモデルは「y の予測値 = 切片 + 係数1 × x1 + 係数2 × x2 + …」という形をとります。各係数が偏回帰係数で、単回帰の傾きとは意味が異なることに注意が必要です。単回帰で面積だけを使うと、面積の係数には「広い部屋は駅近の物件が多い」といった他の要因の影響が混ざり込みます。重回帰で駅距離や築年数も同時に入れると、面積の係数は「駅距離と築年数が同じ物件どうしを比べたとき、面積が1平米広いと家賃がいくら高いか」という切り分けられた効果になります。同じ変数でも、モデルに何を同居させるかで係数の値と意味が変わる — これが重回帰を読むうえで最も重要な点です。

当てはまりの評価とモデル選び

モデル全体の説明力は決定係数（R二乗）で測ります。目的変数のばらつきのうちモデルが説明できた割合を表し、1に近いほど当てはまりが良いことを示します。ただしR二乗は説明変数を増やせば必ず上がってしまうため、変数の数に応じた罰則を加えた自由度調整済みR二乗や、AICなどの情報量規準を使って比較するのが定石です。個々の係数については、標準誤差をもとに「その係数は0ではないと言えるか」をt検定の枠組みで検定し、モデル全体が意味を持つかは分散分析と同じF検定で評価します。

説明変数の選び方も設計判断です。手当たり次第に変数を詰め込むと、手元のデータの偶然のノイズにまで合わせてしまう過学習が起き、新しいデータへの予測が悪化します。効果を知りたい変数と交絡になりうる変数を理屈で選ぶ、罰則付きの推定で係数を抑える正則化を使う、といった対処が採られます。また「広さの効果が駅距離によって変わる」ような変数どうしの掛け合わせは交互作用項として明示的にモデルへ入れる必要があります。

前提条件と診断

重回帰の推定と検定は、残差（予測と実測のずれ）が平均0で、ばらつきが一定、互いに独立、そして検定のためには正規分布に近い、という前提の上に成り立ちます。当てはめたら終わりではなく、残差プロットで曲がったパターンやばらつきの変化がないかを確かめるモデル診断が不可欠です。外れ値が1点で係数を引きずっていないかの確認も含め、「診断してはじめて結果を信じられる」と考えるのが実務の作法です。

典型的な落とし穴

重回帰で最も有名な落とし穴が多重共線性です。説明変数どうしが強く相関していると、「他を固定して」という切り分けの根拠が崩れ、係数の推定が極端に不安定になります。もう1つは因果の読みすぎです。重回帰は交絡「候補」を統計的に揃える道具にすぎず、モデルに入れていない要因の影響までは除けません。係数が有意でも、それだけで因果関係の証明にはならない — 「何を統制できていて、何を統制できていないか」を常に言葉にしながら読むことが、重回帰と付き合う基本姿勢です。