実験計画法
Design of Experiments ・ じっけんけいかくほう
反復・無作為化・局所管理でばらつきを制御し、少ない試行で効果を測る設計技術
✦ 30秒で試す — 航海畑の数は同じでも、割り振り方しだいで結果のぶれは半分になるブロックはどの向きの帯で切る？予想してみる概要
実験計画法は、「知りたい効果を、最小の実験回数で、偏りなく精度よく測るには、実験をどう組めばよいか」を扱う統計学の分野です。データが集まってからの解析ではなく、データを生み出す実験そのものの設計を対象にします。調べたい条件（要因）が温度・圧力・材料のように複数あるとき、どの組み合わせを何回、どの順番で試すか — この設計の良し悪しが、同じ手間から得られる情報量を桁違いに変えます。
土台にあるのは「フィッシャーの三原則」と呼ばれる3つの設計原理、すなわち反復・無作為化・局所管理です。同じ条件を複数回試してばらつきを測れるようにし（反復）、条件の割り付けを乱数で決めて偏りを断ち（無作為化）、実験環境のむらをブロックに区切って除去する（局所管理）。この3つを組み込んだ実験は、仮説検定による効果の判定と、分散分析による要因ごとの効果の分解を、正当に行える形になります。
農学で生まれた方法ですが、製造業の品質改善、化学・製薬のプロセス最適化、近年では機械学習のハイパーパラメータ探索やWebサービスの多要因テストまで、「試行にコストがかかる場面」全般で使われています。
なぜ生まれたか
実験計画法は1920年代、英国ロザムステッド農事試験場の統計学者ロナルド・フィッシャーによって作られました。肥料の効果を確かめたくても、農地には肥沃度のむらがあり、天候は毎年変わり、作物の生育には自然なばらつきがあります。しかも農業の実験は1年に1回しかできません。「良い区画にたまたま新肥料を撒いた」だけの結果と本物の効果を、限られた試行数でどう区別するか。フィッシャーはこの制約の中で、無作為化により偏りを断ち、反復によりばらつきの大きさそのものを測り、土地のむらはブロック分けで除去するという三原則に到達し、その解析法として分散分析を整備しました。
もう一つの革新が「1回に1要因ずつ変える」常識の否定です。当時も今も直感的なのは、他の条件を固定して1要因だけ動かす逐次的な実験ですが、フィッシャーは複数の要因を同時に組み合わせて振る要因計画のほうが、同じ試行数から各要因の効果をより高い精度で推定でき、しかも要因どうしの交互作用まで検出できることを示しました。実験は「1つずつ丁寧に」より「賢く同時に」のほうが効率的である — この転換が、実験計画法という分野の出発点です。戦後には田口玄一らが製造業の品質工学へ展開し、日本のものづくりにも深く根付きました。
詳細
フィッシャーの三原則
**反復（replication）**は、同じ条件の実験を複数回行うことです。1回きりの結果では、条件の効果と偶然のばらつきを分離できません。反復があって初めて誤差の大きさ（分散）を見積もれ、「観測された差は誤差に比べて大きいか」という仮説検定の問いが立てられます。
**無作為化（randomization）**は、どの実験単位にどの条件を割り付けるかを乱数で決めることです。実験の順序や場所に潜む系統的な偏り——装置の暖まり、作業者の慣れ、時間帯——が特定の条件に片寄って混入するのを防ぎます。これはランダム化比較試験の核と同じ原理で、交絡を設計段階で断つ仕掛けです。さらにフィッシャーは、無作為化そのものが検定の根拠になることも示しました。割り付けが乱数で決まっている以上、「処理に効果がなければ、どの割り付けでも結果は同じだったはず」という前提から、観測された差の珍しさを割り付けのくじの確率として計算できるのです（並べ替え検定の考え方）。
**局所管理（local control / blocking）**は、実験環境を条件のそろった小さなまとまり（ブロック）に区切り、比較したい条件をブロックの中で完結させることです。農地なら肥沃度の近い区画を1ブロックとし、その中で各肥料を無作為に配置します。これを乱塊法（randomized block design）と呼びます。ブロック間の差はA・Bの両方に同じだけ乗るので、ブロックの中で比べれば打ち消され、解析ではブロック要因として分離して取り除けます。誤差が小さくなるぶん、同じ区画数でも推定の精度と検出力が上がります。
下の部品は、北ほど肥沃な4×4の畑です。「完全無作為化」で何度も収穫すると、たまたま肥えた北側に肥料Aが片寄った回は差が大きく、やせた南側に片寄った回は差が消えて、推定値のヒストグラムが横に広がります。「乱塊法」に切り替えると、どの行にもAとBが2つずつ入るため、畑のむらが差から消え、山がぐっと細くなります。中心（真の差）はどちらも同じで、違うのは精度だけ——これが局所管理の効き目です。
肥料 A と B を8区画ずつ割り付けて収穫し、A−B の平均差を下のヒストグラムに落とします（真の差は +2）。まず「完全無作為化」で何回か収穫し、次に「乱塊法」に切り替えて比べてください。
左: 4×4 の区画（北ほど肥沃）と割り付けた肥料。右: A−B の推定値のヒストグラム（上: 完全無作為化 / 下: 乱塊法。縦軸はそれぞれの最大に合わせて伸縮）。青の破線 = 真の差 +2
「制御できるむらはブロックで除き、制御できないむらは無作為化で偶然に変え、残る誤差は反復で測る」——後に統計学者ジョージ・ボックスが「ブロックできるものはブロックし、できないものは無作為化せよ」と標語にしたように、三原則はばらつきへの三段構えの対処法として一体で機能します。
要因計画 — 同時に振るから交互作用が見える
複数の要因をすべての水準の組み合わせで実験するのが要因計画（factorial design）です。たとえば温度2水準 × 触媒2種類なら4通りの組み合わせを試します。1要因ずつ変える方式に対する決定的な優位は、交互作用 — ある要因の効果が別の要因の水準によって変わる現象 — を検出できることです。
「触媒Bは高温でだけ大きな効果を発揮する」という現象は、低温でしか触媒Bを試していない左の設計では原理的に発見できません。しかも要因計画では、各要因の効果を全データを使って推定できるため（他方の要因の水準をまたいで平均する）、1要因ずつの実験と同じ精度をより少ない総試行数で達成できます。解析には分散分析を用い、全体のばらつきを要因ごとの効果・交互作用・誤差に分解します。
一部実施計画 — 試行数の爆発への処方箋
要因が増えると全組み合わせは指数的に増えます。2水準の要因が7個あれば128通りで、すべて試すのは現実的でないことも多い。そこで組み合わせの一部だけを、情報の損失が最小になるよう選び抜いて実施するのが一部実施要因計画（fractional factorial design）です。代償として、一部の効果どうしが区別できなくなる「別名（エイリアス）」の関係が生じますが（実験計画法の用語ではこれも「交絡」と呼びます）、「高次の交互作用はまず無視できる」という経験則を利用して、主効果と主要な二因子交互作用が互いに混ざらないように計画を組みます。直交表と呼ばれる割り付け表はこの考え方を定型化したもので、田口メソッドでは7要因を8回の実験で振るといった大胆な絞り込みが定番です。少ない実験で候補要因をふるいにかけ（スクリーニング）、効きそうな要因に絞ってから詳細な実験に進む、という段階的な戦略が実務の型になっています。
よくある失敗 — 擬似反復とブロックの無視
設計の失敗で最も多く、しかも気づかれにくいのが擬似反復（pseudoreplication）です。反復の単位は「条件を独立に割り付けた単位（実験単位）」であって、「測った個数」ではありません。肥料Aの区画とBの区画を1つずつ作り、それぞれから苗を50本ずつ測っても、反復は1です。50本は同じ区画の土・日当たり・水はけを共有しているので、区画そのものの個性と肥料の効果を区別できません。それを100個の独立なデータとしてt検定にかけると、誤差が過小に見積もられ、偶然の差がいくらでも「有意」になります。1984年に生態学者ハールバートがこの誤りの広がりを指摘して以来、細胞の培養皿、マウスのケージ、学校のクラス、Webのサーバ単位の割り付けなど、あらゆる分野で繰り返し問題にされてきました。割り付けの単位で集計するか、単位の入れ子構造をモデルに入れる（混合効果モデルなど）のが対処法です。
もう1つの典型は、せっかくブロックを組んだのに、解析でブロックを無視することです。乱塊法のデータを完全無作為化と同じ式で分析すると、ブロック間の差が誤差に混ざったままになり、部品で見た「細い山」の精度が推定の標準誤差に反映されません。設計と解析は対になっていて、「どう割り付けたか」がそのまま「どう分析するか」を決めます。さらに、無作為化は割り付けだけでなく実施順にも及ぶべきです。全部のA条件を午前に、B条件を午後に測れば、時間帯と条件が完全に重なってしまいます。
現代の応用と設計の心得
実験計画法の考え方は、農場と工場を越えて広がっています。Webサービスで複数のUI要素を同時に検証する多変量テストは要因計画そのものであり、単一要因のA/Bテストの自然な拡張です。応答曲面法は要因を連続的に振って最適条件を探索する発展形で、機械学習のハイパーパラメータ調整で使われるグリッドサーチや実験的な最適化にも同じ設計思想が流れ込んでいます。
設計時の心得として、まず必要なサンプルサイズは実験前に検出力の計算で見積もります。検出したい効果量に対して反復数が足りない実験は、やる前から結論の出ない実験です。また、多くの要因・水準を調べるほど比較の数が増えるため、多重比較への配慮を解析計画に含めておきます。最後に、フィッシャーの有名な警句を引いておきます。「実験が終わってから統計家に相談するのは、死体の検死を頼むようなものだ。統計家に言えるのは、実験が何で死んだかだけである」。データ解析の技術がどれほど進んでも、設計の失敗は解析では取り返せない — 実験計画法が最初に教えてくれるのは、この順序の重要性です。
試問
4行4列、16区画の畑で肥料 A と B の収量を比べる実験です（本当の差は A−B = +2）。割り付け方（どの区画に A と B を置くか）を選んで収穫を重ねると、A−B の推定値がヒストグラムに積み上がります。割り付け方は3通り——16区画にでたらめに8つずつ置く完全無作為化と、区画をまとまり（ブロック）に分けて各ブロックの中で A・B を2つずつ置く乱塊法で、ブロックを行（東西の帯）にするか列（南北の帯）にするかを選べます。
肥料 A と B を8区画ずつ割り付けて収穫し、A−B の平均差を下のヒストグラムに落とします（真の差は +2）。まず「完全無作為化」で何回か収穫し、次に「乱塊法」に切り替えて比べてください。
左: 4×4 の区画（北ほど肥沃）と割り付けた肥料。右: A−B の推定値のヒストグラム（上: 完全無作為化 / 下: 乱塊法。縦軸はそれぞれの最大に合わせて伸縮）。青の破線 = 真の差 +2