多重比較
Multiple Comparisons ・ たじゅうひかく
検定を繰り返すほど偽陽性が膨らむ問題と、その補正の考え方
概要
多重比較の問題とは、仮説検定を何度も繰り返すと、そのどこかで偽陽性（第一種の過誤）が起きる確率がどんどん膨らんでいく、という構造的な問題です。1回の検定で偽陽性が起きる確率を5%に抑えていても、独立な検定を20回行えば「少なくとも1回はどこかで偽陽性が出る」確率は約64%に達します。100回なら99%を超え、偽陽性はもはや「起きるかもしれない」ではなく「ほぼ確実に起きる」ものになります。
これは不正をしなくても自然に発生します。3群以上をペアごとに比較する、アンケートの多数の項目それぞれで群差を検定する、遺伝子発現データで数万の遺伝子を一斉に検定する、A/Bテストで多数の指標を同時に見る — 検定が複数になる場面はどこにでもあり、そのたびに「たまたま有意」を拾うリスクが積み上がります。
多重比較の補正とは、この膨張を制御するための手続きの総称です。何を「守るべき誤り率」とするかによって、Bonferroni 補正に代表される厳格な方式から、FDR（偽発見率）制御のような大規模データ向けの方式まで、複数の考え方があります。
なぜ生まれたか
検定の理論は元来「1つの仮説を1回検定する」ことを想定して作られており、有意水準5%という保証もその1回についてのものです。ところが20世紀半ば、農事試験や心理実験で分散分析が普及すると、「全体として差がある」と分かった後に「では具体的にどの群とどの群が違うのか」をペアごとに検定したくなる場面が頻発しました。5群あればペアは10組。素朴に10回検定すれば、全群に差がなくても4割の確率でどこかに「有意差」が現れてしまいます。この事後比較の必要に応えて、テューキーの方法やシェッフェの方法など、比較全体で誤り率を守る多重比較法が1950年代に整備されました。
さらに20世紀末、ゲノム解析の登場が問題のスケールを一変させます。数万の遺伝子を一斉に検定する状況では、全体で偽陽性ゼロを目指す従来型の補正は厳しすぎて、本物の発見までほぼすべて潰してしまいます。そこでベンジャミーニとホッホバーグは1995年、「偽陽性を1つも出さない」から「発見と報告したものの中の偽物の割合を制御する」へと守るべき対象を転換した FDR という基準を提案しました。探索の時代に合わせて誤り率の定義自体を作り直したこの発想は、現代の大規模データ解析の標準になっています。
詳細
偽陽性はどう膨らむか
有意水準5%の検定を、帰無仮説がすべて正しい（本当は何の差もない）状況で m 回、互いに独立に行うとします。1回の検定で偽陽性を出さない確率は0.95なので、m 回すべてで出さない確率は 0.95 の m 乗。したがって「少なくとも1回は偽陽性が出る確率」（ファミリーワイズエラー率、FWER）は 1 − 0.95^m で、m とともに急速に1へ近づきます。
この現象を体感的に示した有名な実験に「死んだサケのfMRI」があります。死んだサケに写真を見せて脳活動を計測し、脳の数万ボクセルを無補正で検定したところ、複数の部位に「有意な活動」が検出されました。もちろん死んだサケの脳は活動していません。大量に検定すれば偽陽性は必ず出る — 補正の必要性を突きつけた、多重比較問題の象徴的なデモです。
下の部品では「本当は何の差もない世界」で m 個の検定を繰り返せます。補正なしでは偽陽性がほぼ毎回どこかに現れ、Bonferroni 補正でそれが抑え込まれる様子を確かめてみてください。
ここでは全検定の帰無仮説が正しい（本当は何の差もない）世界を再現します。「実験する」を押すと m 個の検定を一斉に行い、有意になったマス＝すべて偽陽性が赤く光ります。
FWER制御 — Bonferroni とその系譜
最も単純で保守的な補正が Bonferroni 補正です。m 回検定するなら、個々の検定の有意水準を α/m に下げます（あるいは同じことですが、各p値を m 倍してから α と比べます）。20回の検定なら各検定を0.25%水準で行う、という具合です。こうすると「どこか1つでも偽陽性が出る確率」全体が α 以下に抑えられます。検定間の依存関係を仮定しない完全に汎用な方法ですが、その分厳しすぎる傾向があり、検定数が多いと本物の差まで軒並み落としてしまいます。つまり検出力の犠牲が大きいのです。改良版のホルム法は、p値を小さい順に並べて段階的に緩めていく手続きで、同じFWER保証を保ちながら Bonferroni より検出力が高く、常にこちらを使ってよい上位互換です。分散分析の事後比較には、ペア比較という構造を利用してさらに効率の良いテューキーのHSD法が定番です。
FDR制御 — 探索の時代の誤り率
検定が数千・数万になる探索的解析では、「偽陽性ゼロ」の保証は目標として不適切です。そこで FDR（false discovery rate）は問いを変えます。「有意と報告したもののうち、偽物の割合を平均5%以下に抑える」— つまり100個の発見のうち5個程度の偽物は許容し、その代わり本物を大量に拾うという取引です。ベンジャミーニ・ホッホバーグ（BH）法は、m 個のp値を小さい順に並べ、k 番目のp値を「α × k/m」というスライドするしきい値と比べていく簡潔な手続きで、これを実現します。ゲノム解析・大規模A/Bテストなど「発見の候補リストを作り、後で個別に検証する」ワークフローでは、FDR制御が事実上の標準です。FWERとFDRは優劣ではなく目的の違いで、少数の検定で結論を確定させたいならFWER、多数の候補から選別したいならFDR、と使い分けます。
p-hacking — 見えない多重比較
多重比較の最も厄介な形は、解析者自身に見えていないものです。「外れ値の除外基準を変えて再検定」「サブグループごとに検定して効いた層だけ報告」「有意になる指標が見つかるまで別の指標を試す」— これらは明示的に m 回の検定を並べていなくても、実質的に多数の比較から良い結果だけを選ぶ行為であり、p-hacking と呼ばれます。報告されるのは1つのp値でも、その背後の探索空間全体が誤り率を膨らませているため、どんな補正式でも後からは直せません。対策は手続きの透明化です。仮説と解析計画を事前登録する、探索的解析と検証的解析を明確に分け、探索で見つけた仮説は新しいデータで検証する、行った比較の総数を正直に報告する。多重比較の補正式は道具にすぎず、本質は「自分がいくつの比較をしたのかを自覚し、それに見合った誤り率の管理をする」という規律にあります。