ロジスティック回帰

概要

ロジスティック回帰は、「買う・買わない」「発症する・しない」「解約する・しない」のような二値の結果を、説明変数から確率として予測する回帰手法です。線形回帰が「家賃はいくらか」という量を予測するのに対し、ロジスティック回帰は「この顧客が解約する確率は32%」のように、起きやすさを0〜1の確率で答えます。

名前に「回帰」と付きますが、実務では分類器としての出番が圧倒的に多い手法です。予測確率がしきい値（たとえば0.5）を超えたら陽性と判定すれば、そのまま二値分類器になります。医学研究のリスク要因分析、与信スコアリング、マーケティングの反応予測、そして機械学習の入門的分類モデルまで、統計とデータサイエンスの両方の世界で最も広く使われるモデルのひとつです。

なぜ生まれたか

二値の結果を扱うのに、まず思いつくのは「結果を0と1の数値にして線形回帰にかける」ことです。しかしこれには根本的な無理があります。直線はどこまでも伸びるため、予測値が確率のはずなのに1.2や−0.3といったあり得ない値を平気で出してしまう。また、直線は「説明変数が1増えたら確率も一定量増える」と仮定しますが、現実の確率は0や1の近くでは頭打ちになり、変化は中間帯で最も急になります。誤差が正規分布に従うという線形回帰の前提も、二値データでは成り立ちません。

解決の鍵は、確率そのものではなく「オッズの対数」を直線で説明するという発想の転換でした。オッズとは「起きる確率 ÷ 起きない確率」で、その対数（ロジット）はマイナス無限大からプラス無限大まで動けるため、直線と相性が良いのです。この変換の逆をたどると、直線の出力を0〜1に押し込むS字型のロジスティック関数（シグモイド関数）が現れます。曲線自体は19世紀に人口成長のモデルとして生まれ、20世紀半ばにコックス（D. R. Cox）らが回帰の枠組みとして整備しました。のちにこの構造は「線形の式をリンク関数で応答に橋渡しする」という一般化線形モデルへと一般化され、ロジスティック回帰はその代表例と位置づけられています。

詳細

S字カーブ — 直線を確率に変換する

モデルの中身は2段構えです。まず線形回帰と同じように、説明変数の線形結合（切片 + 係数 × 変数の和）を計算します。次にその値をロジスティック関数に通して0〜1の確率に変換します。線形結合が0のとき確率はちょうど0.5、大きくなるほど1に、小さくなるほど0に滑らかに近づく — このS字カーブが、直線の「はみ出し」問題と「頭打ち」の現実を同時に解決します。予測しているのは「説明変数の値が与えられたときに結果が1である条件付き確率」です。

係数の読み方 — オッズ比

線形回帰の係数は「xが1増えるとyがいくら増えるか」でしたが、ロジスティック回帰の係数は「xが1増えるとログオッズがいくら増えるか」を表します。係数を指数変換（eの係数乗）すると「オッズ比」になり、「xが1増えるとオッズが何倍になるか」と読めます。たとえば喫煙の係数のオッズ比が2.0なら、「他の条件が同じとき、喫煙者は非喫煙者に比べて発症のオッズが2倍」です。オッズ比は確率の比そのものではない点に注意が必要ですが（起きる確率が小さい事象では近い値になります）、医学・疫学の論文でリスク要因の強さを報告する標準的な指標として定着しています。複数の説明変数を入れて他の要因を統制する使い方は重回帰分析と同じ発想です。

推定は最尤法で

線形回帰と違い、ロジスティック回帰の係数は最小二乗法では求めません。各データ点の結果は「確率pで1が出るコイン投げ」、つまり二項分布（試行1回）とみなせるので、「観測された0/1の並びが最も起こりやすくなる係数」を探す最尤推定を使います。閉じた式では解けないため、ニュートン法などの反復計算で尤度を最大化します。統計ソフトが一瞬で返してくれる係数の裏では、この反復が回っています。機械学習の文脈では、同じ計算が「交差エントロピー損失の最小化」と呼ばれ、勾配降下法で解かれます。呼び名は違っても中身は同じ最尤推定です。

実務での使いどころと落とし穴

ロジスティック回帰の強みは、予測が確率で出ることと、係数の解釈可能性です。深層学習のような複雑なモデルに精度で劣る場面でも、「どの要因がどれだけ効いているか」を説明する必要がある与信・医療・施策評価では第一候補になります。ナイーブベイズと比較すると、ナイーブベイズが各クラスのデータの生成のされ方をモデル化する生成モデルであるのに対し、ロジスティック回帰は条件付き確率を直接モデル化する識別モデルで、同じ二値分類でもアプローチが対照的です。

落とし穴もいくつかあります。まず「完全分離」— 説明変数で0と1が完璧に分けられてしまうと、係数が無限大に発散して推定が壊れます（正則化を入れるのが定番の対処です）。陽性が全体の1%のような不均衡データでは、精度が高く見えても中身が伴わないことがあり、しきい値の調整や評価指標の選択が重要になります。また係数の解釈には重回帰と同じ注意 — 多重共線性や交絡の見落とし — がそのまま当てはまります。確率を出せる手軽で説明可能な分類器、しかし読み方の作法は回帰と同じだけ必要 — それがロジスティック回帰との付き合い方です。