実験計画法

概要

実験計画法は、「知りたい効果を、最小の実験回数で、偏りなく精度よく測るには、実験をどう組めばよいか」を扱う統計学の分野です。データが集まってからの解析ではなく、データを生み出す実験そのものの設計を対象にします。調べたい条件（要因）が温度・圧力・材料のように複数あるとき、どの組み合わせを何回、どの順番で試すか — この設計の良し悪しが、同じ手間から得られる情報量を桁違いに変えます。

土台にあるのは「フィッシャーの三原則」と呼ばれる3つの設計原理、すなわち反復・無作為化・局所管理です。同じ条件を複数回試してばらつきを測れるようにし（反復）、条件の割り付けを乱数で決めて偏りを断ち（無作為化）、実験環境のむらをブロックに区切って除去する（局所管理）。この3つを組み込んだ実験は、仮説検定による効果の判定と、分散分析による要因ごとの効果の分解を、正当に行える形になります。

農学で生まれた方法ですが、製造業の品質改善、化学・製薬のプロセス最適化、近年では機械学習のハイパーパラメータ探索やWebサービスの多要因テストまで、「試行にコストがかかる場面」全般で使われています。

なぜ生まれたか

実験計画法は1920年代、英国ローザムステッド農事試験場の統計学者ロナルド・フィッシャーによって作られました。肥料の効果を確かめたくても、農地には肥沃度のむらがあり、天候は毎年変わり、作物の生育には自然なばらつきがあります。しかも農業の実験は1年に1回しかできません。「良い区画にたまたま新肥料を撒いた」だけの結果と本物の効果を、限られた試行数でどう区別するか。フィッシャーはこの制約の中で、無作為化により偏りを断ち、反復によりばらつきの大きさそのものを測り、土地のむらはブロック分けで除去するという三原則に到達し、その解析法として分散分析を整備しました。

もう一つの革新が「1回に1要因ずつ変える」常識の否定です。当時も今も直感的なのは、他の条件を固定して1要因だけ動かす逐次的な実験ですが、フィッシャーは複数の要因を同時に組み合わせて振る要因計画のほうが、同じ試行数から各要因の効果をより高い精度で推定でき、しかも要因どうしの交互作用まで検出できることを示しました。実験は「1つずつ丁寧に」より「賢く同時に」のほうが効率的である — この転換が、実験計画法という分野の出発点です。戦後には田口玄一らが製造業の品質工学へ展開し、日本のものづくりにも深く根付きました。

詳細

フィッシャーの三原則

**反復（replication）**は、同じ条件の実験を複数回行うことです。1回きりの結果では、条件の効果と偶然のばらつきを分離できません。反復があって初めて誤差の大きさ（分散）を見積もれ、「観測された差は誤差に比べて大きいか」という検定の問いが立てられます。**無作為化（randomization)**は、どの実験単位にどの条件を割り付けるかを乱数で決めることです。実験の順序や場所に潜む系統的な偏り — 装置の暖まり、作業者の慣れ、時間帯 — が特定の条件に片寄って混入するのを防ぎます。これはランダム化比較試験の核と同じ原理で、交絡を設計段階で断つ仕掛けです。**局所管理（local control / blocking）**は、実験環境を条件のそろった小さなまとまり（ブロック）に区切り、比較したい条件をブロック内で完結させることです。農地なら肥沃度の近い区画を1ブロックとし、その中で各肥料を無作為に配置する。ブロック間の差は解析時に分離して取り除けるため、誤差が小さくなり、同じ試行数でも検出力が上がります。「制御できるむらはブロックで除き、制御できないむらは無作為化で偶然に変え、残る誤差は反復で測る」— 三原則は、ばらつきへの三段構えの対処法として一体で機能します。

要因計画 — 同時に振るから交互作用が見える

複数の要因をすべての水準の組み合わせで実験するのが要因計画（factorial design）です。たとえば温度2水準 × 触媒2種類なら4通りの組み合わせを試します。1要因ずつ変える方式に対する決定的な優位は、交互作用 — ある要因の効果が別の要因の水準によって変わる現象 — を検出できることです。

「触媒Bは高温でだけ大きな効果を発揮する」という現象は、低温でしか触媒Bを試していない左の設計では原理的に発見できません。しかも要因計画では、各要因の効果を全データを使って推定できるため（他方の要因の水準をまたいで平均する）、1要因ずつの実験と同じ精度をより少ない総試行数で達成できます。解析には分散分析を用い、全体のばらつきを要因ごとの効果・交互作用・誤差に分解します。

一部実施計画 — 試行数の爆発への処方箋

要因が増えると全組み合わせは指数的に増えます。2水準の要因が7個あれば128通りで、すべて試すのは現実的でないことも多い。そこで組み合わせの一部だけを、情報の損失が最小になるよう選び抜いて実施するのが一部実施要因計画（fractional factorial design）です。代償として、一部の効果どうしが区別できなくなる「交絡（別名：エイリアス）」が生じますが、「高次の交互作用はまず無視できる」という経験則を利用して、主効果と主要な二因子交互作用が互いに混ざらないように計画を組みます。直交表と呼ばれる割り付け表はこの考え方を定型化したもので、田口メソッドでは7要因を8回の実験で振るといった大胆な絞り込みが定番です。少ない実験で候補要因をふるいにかけ（スクリーニング）、効きそうな要因に絞ってから詳細な実験に進む、という段階的な戦略が実務の型になっています。

現代の応用と設計の心得

実験計画法の考え方は、農場と工場を越えて広がっています。Webサービスで複数のUI要素を同時に検証する多変量テストは要因計画そのものであり、単一要因のA/Bテストの自然な拡張です。応答曲面法は要因を連続的に振って最適条件を探索する発展形で、機械学習のハイパーパラメータ調整で使われるグリッドサーチや実験的な最適化にも同じ設計思想が流れ込んでいます。

設計時の心得として、まず必要なサンプルサイズは実験前に検出力の計算で見積もります。検出したい効果量に対して反復数が足りない実験は、やる前から結論の出ない実験です。また、多くの要因・水準を調べるほど比較の数が増えるため、多重比較への配慮を解析計画に含めておきます。最後に、フィッシャーの有名な警句を引いておきます。「実験が終わってから統計家に相談するのは、死体の検死を頼むようなものだ。統計家に言えるのは、実験が何で死んだかだけである」。データ解析の技術がどれほど進んでも、設計の失敗は解析では取り返せない — 実験計画法が最初に教えてくれるのは、この順序の重要性です。