回帰分析
Linear Regression ・ かいきぶんせき
変数間の関係を直線で当てはめ、説明と予測に使う基本のモデリング手法
概要
回帰分析は、変数どうしの関係を数式で表し、説明と予測に使うための手法です。その最も基本の形が線形回帰で、「広告費を増やすと売上はどれくらい伸びるか」「気温が1度上がるとアイスの販売数は何個増えるか」といった関係を、散らばったデータ点にもっともよく当てはまる直線 y = a + bx として表現します。x を説明変数（原因側の候補）、y を目的変数（説明したい結果）と呼びます。
相関が「二つの変数がどれくらい一緒に動くか」を−1から+1の一つの数値で表すのに対し、回帰は関係を「式」にまで具体化します。式になると、傾き b から「x が1増えると y は b 増える」という変化量が読め、さらに未知の x に対する y の値を予測できるようになります。関係の有無を測る段階から、関係を使う段階への一歩が回帰分析です。
シンプルな見た目に反して射程は広く、経済学の需要予測から機械学習の出発点まで、「データから関係を学ぶ」あらゆる手法の原型になっています。統計的モデリングの入り口として最初に学ぶ価値のある語彙です。
なぜ生まれたか
道具としての起源は19世紀初頭の天文学にあります。彗星や小惑星の軌道を限られた観測から割り出すとき、観測誤差を含む複数のデータに「もっとももらしい曲線」を当てはめる必要があり、ルジャンドルとガウスが「誤差の二乗の合計を最小にする」という基準 — 最小二乗法 — を考案しました。当てはめの良し悪しという曖昧な感覚を、明確に計算できる基準に置き換えた発明です。
「回帰」という一風変わった名前は、19世紀末のゴルトンの研究に由来します。親子の身長を調べたゴルトンは、背の高い親の子は平均より高いものの親ほどではなく、極端な値が世代を経ると平均のほうへ戻る傾向を見つけ、これを「平均への回帰」と呼びました。この親子の身長の関係を直線で表す分析がそのまま手法の名前として定着し、弟子のピアソンらが相関係数とともに数理的に整備していきます。もともとは「なぜ戻るのか」という生物学の疑問だったものが、「二変数の関係を直線で定量化する」一般的な道具として独立した、という経緯です。
詳細
最小二乗法 — 「もっともよい直線」の決め方
散布図に直線を引く方法は無数にあります。その中から一本を選ぶ基準が最小二乗法です。各データ点について、実際の y の値と直線が予測する値との差（残差）を取り、その二乗をすべての点について合計します。この残差二乗和が最小になるように傾き b と切片 a を決めるのです。二乗するのは、上へのずれと下へのずれが打ち消し合わないようにするためと、大きな外れを強く罰するためで、この基準なら最適な a と b が計算で一意に求まります。傾き b は、相関係数に「y のばらつきと x のばらつきの比」を掛けた値になっており、相関と回帰が数学的に地続きであることがここに表れています。
実際に点を打って、直線と残差がどう動くか — とくに外れ値1点が直線をどれだけ引きずるかを確かめてみてください。
空いている場所をクリックすると点が増えます。点はドラッグで移動、ダブルクリックで削除できます。
結果の読み方 — 係数と決定係数
回帰の出力で最初に見るのは傾き（回帰係数）です。「広告費 x が1万円増えると売上 y が平均して b 万円増える」という関係の強さと向きを、実際の単位で語れます。次に見るのが決定係数 R²（アールツースクエア）で、y のばらつき全体のうち直線で説明できた割合を0〜1で表します。単回帰では相関係数の二乗に一致し、R² = 0.7 なら「y の変動の7割はこの直線で説明でき、残り3割は他の要因やノイズ」と読めます。さらに、傾き b が偶然ゼロでないと言えるかは仮説検定（係数の t検定）で確かめられ、b の信頼区間を添えれば効果の大きさの不確かさも示せます。関係の記述・説明力の評価・偶然らしさの検証、という三点セットで結果を読むのが基本の作法です。
説明変数を増やす — 重回帰へ
売上は広告費だけでは決まりません。気温、曜日、価格など複数の要因を同時に扱いたいときは、説明変数を増やした重回帰分析 y = a + b1x1 + b2x2 + … を使います。重回帰の係数は「他の変数の値を固定したときの、その変数だけの効果」を表すため、たとえば「気温の影響を取り除いたうえで、広告費そのものの効果はどれだけか」といった問いに答えられます。これは交絡（第三の要因が見かけの関係を作る現象）への部分的な対処になっており、重回帰が実務で多用される大きな理由です。ただし説明変数どうしが強く相関している（多重共線性）と係数の推定が不安定になるなど、変数を増やせば増やすほどよいわけではありません。
前提条件 — 直線を当てはめてよいのはいつか
最小二乗法は機械的にどんなデータにも直線を引いてしまいますが、結果を信頼するには前提があります。x と y の関係がそもそも直線的であること、残差のばらつきが x の値によらずほぼ一定であること、残差どうしが独立であること、そして係数の検定や区間推定を行うなら残差がおおむね正規分布に従うことです。これらは残差を図にして確かめるのが定石で、残差にカーブや扇形のパターンが見えたら、変数の変換や別のモデルを検討するサインです。有名な「アンスコムの数値例」は、平均・分散・相関係数・回帰直線がすべて同一なのに散布図はまるで異なる4組のデータで、数値の要約だけを見て図を見ないことの危うさを教えてくれます。
落とし穴 — 外挿と因果の誤読
実務上の二大落とし穴を挙げます。第一に外挿です。回帰直線が信頼できるのはデータが観測された範囲の内側だけで、範囲の外へ直線を延長した予測（気温45度の販売数など）には根拠がありません。第二に、回帰係数を因果関係として読んでしまうことです。回帰は相関と同様、あくまで観測データ上の関連を定量化しているだけで、「x を操作すれば y が変わる」ことを保証しません。交絡や逆の因果の可能性は式の上からは消えないため、因果を主張するにはランダム化実験や因果推論の追加の設計が必要です。また、外れ値一つで直線が大きく引きずられることもあるため、当てはめの前後で必ず散布図と残差を確認する — 図を見る習慣が、回帰分析を正しく使う最大のコツです。