選択バイアス
Selection Bias ・ せんたくばいあす
データに入る個体の選ばれ方そのものが偏りを生み、結論を歪ませる現象
✦ 30秒で試す — 航海才能と人柄は無関係なのに、合格者の中では逆向きに結びつく才能だけで選んだ合格者の、才能と人柄は?予想してみる概要
選択バイアスは、「誰がデータに入るか」の選ばれ方そのものが偏りを生み、分析結果を歪ませる現象です。データの中身がどれだけ正確でも、そのデータに載る個体の選ばれ方が調べたい性質と無関係でなければ、集計や推定は母集団の姿からずれます。母集団と標本の関係で言えば、標本が母集団の縮図になっていない状態です。
厄介なのは、この偏りが手元のデータをいくら眺めても見えないことです。偏りの原因は「データに入らなかった個体」の側にあり、データセットの中には痕跡が残りません。統計手法の高度さやサンプルサイズの大きさでは救えず、100万件のデータでも選ばれ方が偏っていれば、偏った結論が高い精度で出てくるだけです。
アンケートの回答者は「回答する気がある人」に偏り、レビューサイトの評価は「わざわざ書き込む人」に偏り、成功者インタビューは「成功した人」に偏る——現代のデータ分析で最も頻繁に、最も静かに結論を狂わせるバイアスの一つです。さらに選び方は、平均を歪めるだけでなく、母集団には存在しない「関係」まで作り出します。
なぜ生まれたか
この概念が痛みとともに学ばれた古典的な事例が2つあります。ひとつは1936年の米大統領選挙の世論調査で、雑誌リテラリー・ダイジェストは200万人超という空前の回答を集めてランドン候補の勝利を予測しましたが、結果はローズヴェルトの歴史的圧勝でした。調査票の送付先が電話帳や自動車登録簿など当時の比較的裕福な層に偏った名簿から作られていたことに加え、後の研究(スクワイア、1988年)では、送付した約1000万通のうち回答を返したのが2割余りにとどまり、その回答者がランドン支持に偏っていたこと(無回答バイアス)がより大きな原因だったと指摘されています。いずれにせよ「量は選ばれ方を補えない」ことを世に知らしめた事件でした。
もうひとつは第二次大戦中の爆撃機の装甲問題です。帰還した機体の被弾箇所を調べると翼や胴体に穴が集中しており、そこを補強しようという発想が自然に出てきます。統計学者エイブラハム・ウォルドは逆を提案しました。「手元のデータは帰還できた機体だけだ。穴が無い箇所(エンジンなど)に被弾した機体は、帰ってこなかったのだ」。観察できるのは生き残った個体だけ、という構造が結論を正反対に歪める——生存者バイアスの名で知られるこの逸話は、「データに写っていないものを考えよ」という対策の核心を示しています。こうした失敗の蓄積から、標本の選ばれ方を設計段階から制御する無作為抽出の方法論と、選択の構造を明示的にモデル化する因果推論の枠組みが発展しました。
詳細
「見えているデータ」と「見えていないデータ」
選択バイアスの構造は、母集団とデータの間に「選択」というフィルタが挟まっている、と捉えると見通しがよくなります。フィルタの通過しやすさが調べたい変数と関係しているとき、フィルタの先で観察される分布は歪みます。
この図が示すとおり、偏りの原因である「脱落した個体」は観察データに含まれません。だからこそ対策の第一歩は、データを集計する前に「このデータはどういう経路を通って手元に来たのか。来なかったものは何か」と問うことになります。
代表的なパターン
選択バイアスは現れ方に応じていくつかの名前で呼ばれます。サンプリングバイアスは抽出の枠組み自体の偏りで、電話調査は電話に出る人に、街頭調査はその場所を通る人に偏ります。自己選択バイアスは参加するかどうかを本人が決めることによる偏りで、任意参加の研修の効果を受講者と非受講者の比較で測ると、「意欲が高い人ほど受講する」という選択の効果が混入します。**生存者バイアス**は脱落した個体が見えなくなる偏りで、長寿企業の共通点分析や退会済みユーザーを除いた集計が典型です。脱落バイアスは追跡調査からの離脱による偏りで、効果を感じない参加者ほど調査を離脱すれば、残った人のデータは効果を過大評価します。これは欠損値の問題——欠測が起きる仕組み自体が結果と関係している状況——と地続きです。
交絡との違い——選択が関係を作り出す
選択バイアスは交絡としばしば混同されますが、因果ダイアグラムで見ると構造が異なります。交絡は原因と結果の両方に影響する共通原因(分岐)が作る偏りであるのに対し、選択バイアスの多くは、複数の要因から影響を受ける「選ばれたかどうか」という合流点(コライダー)で条件づけてしまうことによる偏りです。
たとえば才能と人柄の両方が採用の決め手になる会社を考えます。応募者全体では才能と人柄が無関係でも、合格者だけを見ると、才能が低い合格者は「人柄が高かったから」受かった人で、人柄が低い合格者は「才能が高かったから」受かった人です。その結果、合格者の中では才能と人柄の間に負の相関が現れます。入院患者だけを調べると、入院の原因になる2つの病気が負の関連を持って見える——1946年にバークソンが病院データで指摘したことから、バークソンのパラドックスとも呼ばれます。
左は応募者 300 人。才能と人柄は無関係です(r = -0.05)。金色の丸をつかんで採用基準の線を動かし、右の「合格者だけの名簿」がどう見えるか比べてください。
架空データ。1点 = 応募者1人。採用基準: 才能 + 人柄 が線より右上なら合格
基準を厳しくするほど、合格者の中の負の相関は強まります。「おいしい店ほど接客が悪い」「実力派ほどプロモーションに恵まれない」といった俗説がデータから「観察」されるのは、しばしばこの機構です。共通原因が作る偏り(交絡)は変数の調整で消せますが、選択が作る偏りは、選ばれた人だけのデータの中でどう調整しても消えません。「選ばれたかどうか」そのものを調整してしまっているからです。この区別が対処法の分かれ目になります。
どう防ぎ、どう対処するか
最も確実な対策は設計段階にあります。標本を母集団から無作為抽出すれば選択のフィルタと調べたい変数の関係を断てますし、処置の効果を測る場面ではランダム化比較試験が自己選択そのものを排除します。事後の対処としては、脱落した層に重みを付けて母集団の構成に近づける調整(逆確率重み付けや事後層別)や、選択の過程を明示的にモデル化する手法(ヘックマンの2段階推定など)がありますが、いずれも「誰がどういう確率で選ばれたか」についての仮定や、選ばれなかった人も含む補助情報を必要とします。選ばれた人のデータしか無いなら、偏りの向きと大きさは仮定で補うしかありません。
日常の実務でまず効くのは、習慣としての問いかけです。「このデータに入らなかったのは誰か」「入るかどうかは、調べたい変数と関係していないか」。A/Bテストのような実験的な仕組みが整った環境でも、「購入まで進んだユーザーだけで比較する」「アプリを開き続けた人だけを集計する」といった処置の後に起きる絞り込みで、選択バイアスは忍び込みます。処置がその絞り込み自体に影響するなら、絞り込んだ後の群はもう無作為に分けた群ではないからです。データの中身を磨く前に、データの入口を疑う——それが選択バイアスと付き合う基本姿勢です。
試問
応募者 300 人の才能と人柄を散布図にした架空データで、応募者全体では才能と人柄は無関係です。「才能 + 人柄」が採用基準の線を越えた人だけが合格し、合格者だけを見た散布図も並んで出ます。動かせるのは採用基準の線だけです。
いまは合格率 18% の厳しい選抜で、合格者の中では強い負の相関が見えています。金色の丸をつかんで採用基準の線を動かしてください。
架空データ。1点 = 応募者1人。採用基準: 才能 + 人柄 が線より右上なら合格
