統計・データ分析の星図 — 不確かさを扱う道具立てを、記述から推測への流れで辿る
何かを理解するために、先にどの語彙を知っておくとよいのか。100の語彙を、前提知識の系譜でつないだ星図です。 上の星をたどるほか、下の一覧からも各語彙の解説へ進めます。
記述統計
- 散布図2つの変数を縦横の座標に打ち、関係のパターンを目で捉えるための基本の図
- 尺度水準データを名義・順序・間隔・比率の4水準に分類し、使える集計・分析を決める枠組み
- 代表値平均・中央値・最頻値など、データ全体をひとつの値で要約する指標
- 度数分布とヒストグラムデータを区間ごとに数えて分布の形を可視化する、データ理解の出発点となる集計法
- 分散と標準偏差データが代表値のまわりにどれだけ散らばっているかを測る指標
- クロス集計2つのカテゴリ変数を行と列に取り、組み合わせごとの件数で関係を読む集計法
- データ可視化の原則データの型と伝えたい比較に応じてグラフを選び、誤解を生む見せ方を避ける原則
- 外れ値他の大多数から極端に離れた値。検出基準と、除外か調査かの扱いの判断が問われる
- 欠損値記録されなかった値。欠け方の仕組みを見極めて除外・補完を選ばないと分析が歪む
- 相関2つの変数が連動して動く度合いを-1から1の係数で表す考え方
- 標準化と偏差値平均0・標準偏差1に変換して単位の異なるデータを比較可能にする操作。偏差値もその応用
- 分位数とパーセンタイルデータを順位で区切り「下から何%の位置にあるか」で分布を要約する指標
- 探索的データ分析仮説を立てる前にデータを図と要約統計量で眺め、構造や異常を発見する分析の作法
- 箱ひげ図四分位数で分布を5つの値に要約し、複数グループのばらつきを一目で比較する図
- 歪度と尖度分布の左右非対称の度合いと裾の重さを数値化し、正規分布からのずれを測る指標
確率・分布
- 確率起こりやすさを0から1の数値で測る枠組み。不確かさを扱うすべての出発点
- 順列と組合せ起こりうる場合を漏れなく数え上げる技法。確率計算の腕力になる道具
- 確率分布起こりうる値とその出やすさの対応表。不確かさを数学で扱う土台
- 確率変数偶然に左右されて値が決まる量を数学の変数として扱う仕掛け
- 条件付き確率ある事象が起きたと分かったとき、別の事象の確率がどう変わるかを測る
- 正規分布平均を中心に左右対称の釣鐘型をした、統計学で最も重要な確率分布
- 乱数と擬似乱数偶然を計算機の上で再現する仕組み。シミュレーションと抽出の基盤
- t分布標本が小さいときの平均の推測に使う、正規分布より裾の厚い分布
- カイ二乗分布正規分布の二乗和が従う分布。ばらつきの推測と独立性の検定の基盤
- ベイズの定理結果から原因の確率をさかのぼる定理。証拠で信念を更新する計算規則
- べき乗則とロングテール少数が極端に大きく大多数が小さい分布。80:20の法則やアクセス集中の正体
- マルコフ連鎖次の状態が現在だけで決まる確率過程。時間発展するランダムさの基本モデル
- 一様分布すべての値が等しい確率で出る分布。乱数生成とシミュレーションの出発点
- 期待値確率で重み付けした平均。長期的に見込める値をひとつの数で表す
- 混合分布複数の分布を重ね合わせた分布。集団に潜む部分集団をモデル化する
- 指数分布次の事象が起きるまでの待ち時間が従う分布。無記憶性が最大の特徴
- 対数正規分布対数を取ると正規分布になる分布。所得や応答時間など右に裾を引く量のモデル
- 中心極限定理元の分布が何であれ、標本平均の分布は正規分布に近づくという定理
- 同時分布と周辺分布複数の確率変数をまとめて記述する分布と、片方だけ取り出した分布の関係
- 独立性一方の結果が他方の確率に影響しない関係。確率計算を単純にする鍵
- 二項分布成功か失敗かの試行をn回繰り返したときの成功回数が従う分布
- ナイーブベイズ特徴の条件付き独立を仮定した単純なベイズ分類器。速くて意外に強い
- ベイズ推論事前の信念をデータで更新し、事後分布として不確かさごと推定する枠組み
- ベータ分布0〜1の確率そのものの分布。ベイズ推定で成功率の不確かさを表す定番
- ポアソン分布一定時間に稀な事象が何回起きるかを表す分布。到着数や障害件数のモデル
- 共分散2つの確率変数が連動して動く度合いを符号付きで測る指標
- 事前分布と事後分布データを見る前の信念と見た後の信念。ベイズ更新の入口と出口を成す分布
- 大数の法則試行を重ねるほど標本平均が期待値に近づく。確率と現実をつなぐ橋
- 頻度主義とベイズ主義確率を長期の頻度と見るか信念の度合いと見るか。統計学の二大流派の対立軸
- ベイズファクター2つの仮説のもとでのデータの起こりやすさの比。ベイズ流の仮説比較指標
- マルコフ連鎖モンテカルロ法マルコフ連鎖で事後分布からサンプルを生成する計算手法。ベイズ実用化の要
- モンテカルロ法乱数で大量に試して答えを近似する手法。解けない計算を実験に変える
- 階層ベイズモデルグループ構造を階層の事前分布で表し、部分と全体で情報を共有するモデル
- 確率的プログラミング確率モデルをコードで記述し、事後分布の推論を処理系に任せるパラダイム
- 共役事前分布事後分布が事前分布と同じ形になる組み合わせ。ベイズ更新を閉じた式にする
- 信用区間パラメータがその範囲にある確率を直接語れる、ベイズ版の区間推定
- 多変量正規分布複数の変数をまとめて扱う正規分布。相関構造を共分散行列で表現する
推測統計
- 母集団と標本知りたい全体(母集団)を、取り出した一部(標本)から推し量る枠組み
- 因果推論相関ではなく「原因が結果を生む」関係をデータから見極めるための枠組み
- 仮説検定偶然では起こりにくいかどうかで仮説を判断する、推測統計の中心的手続き
- 信頼区間点ではなく幅で母集団の値を推定し、推定の不確かさごと示す方法
- 推定量と不偏性標本から母集団の値を言い当てる関数と、その良し悪しを測る基準
- 標準誤差推定量が標本ごとにどれだけ揺れるかを示す、推測の精度の物差し
- p値帰無仮説のもとで観測データほど極端な結果が出る確率。検定の判断材料
- t検定平均の差が偶然の範囲かをt分布で判定する、最も使われる検定
- カイ二乗検定カテゴリデータの偏りや関連を、期待度数とのずれで検定する方法
- ランダム化比較試験処置をランダムに割り付けて交絡を断ち、因果効果を測る実験の黄金律
- 交絡原因と結果の両方に影響する第三の変数が、見かけの関係を歪ませる現象
- 効果量有意かどうかではなく差そのものの大きさを測る、p値を補う指標
- 差の差法施策前後の変化を対照群と比べ、共通トレンドを差し引いて効果を取り出す手法
- 最尤推定観測データが最も起こりやすくなるパラメータを選ぶ、推定の標準手法
- 選択バイアスデータに入る個体の選ばれ方そのものが偏りを生み、結論を歪ませる現象
- 第一種・第二種の過誤検定が犯しうる二種類の間違い。偽陽性と偽陰性のトレードオフ
- 反事実と潜在結果「もし処置しなかったら」という起こらなかった世界との比較で因果効果を定義する考え方
- A/BテストRCTをWebサービスに応用し、施策の効果をユーザーの無作為割付で検証する手法
- シンプソンのパラドックス全体と層別で傾向が逆転する現象。集計の切り方が結論を覆すことを示す
- ノンパラメトリック検定正規性など分布の仮定を置かず、順位にもとづいて差を検定する方法群
- 因果ダイアグラム変数間の因果の向きを矢印のグラフで描き、統制すべき変数を見極める道具
- 傾向スコア処置を受ける確率でマッチングし、観察データから擬似的なRCTを作る手法
- 検出力とサンプルサイズ本当にある差を検定が見つけられる確率と、それを保証する標本数の設計
- 実験計画法反復・無作為化・局所管理でばらつきを制御し、少ない試行で効果を測る設計技術
- 操作変数法結果に直接効かず処置だけを動かす変数を使い、未観測の交絡を回避する手法
- 多重比較検定を繰り返すほど偽陽性が膨らむ問題と、その補正の考え方
- 分散分析3群以上の平均差を、群間と群内のばらつきの比で一度に検定する方法
モデリング
- 最小二乗法誤差の二乗和を最小にする基準でモデルをデータに当てはめる、推定の原点
- クラスタリング正解ラベルなしで、似たデータどうしを距離に基づきグループに分ける手法
- 回帰分析変数間の関係を直線で当てはめ、説明と予測に使う基本のモデリング手法
- ブートストラップ法手元の標本から復元抽出を繰り返し、推定量のばらつきをデータ自身で見積もる手法
- 過学習モデルが手元のデータの偶然まで暗記し、新しいデータへの予測が悪化する現象
- 残差分析とモデル診断残差のパターンからモデルの仮定の破れや当てはまりの悪さを見抜く点検作業
- 重回帰分析複数の説明変数で目的変数を説明し、他の要因を固定した効果を測る回帰
- 生存時間分析イベントが起きるまでの時間を、打ち切りデータを含めて扱う分析の枠組み
- p値ハッキングと再現性の危機有意な結果が出るまで分析を弄る操作と、それが招いた科学の再現性問題
- データリーク本来使えない情報が訓練に混入し、評価だけが良く見えてしまう分析の落とし穴
- バイアスとバリアンス予測誤差を偏りとばらつきに分解し、モデルの複雑さの最適点を考える枠組み
- ロジスティック回帰起きる・起きないの二値の結果を確率として説明変数から予測する回帰
- 一般化線形モデル正規分布以外の応答も扱えるよう、線形回帰をリンク関数と分布族で拡張した枠組み
- 因子分析観測変数の相関の背後にある少数の潜在因子を仮定して構造を探る手法
- 交互作用ある変数の効果が別の変数の値によって変わる、変数の組み合わせ効果
- 交差検証データを分割して訓練と評価を繰り返し、モデルの汎化性能を見積もる手法
- 主成分分析多変量データを分散が最大になる少数の軸に要約する次元削減の代表手法
- 正則化係数の大きさにペナルティを課して過学習を抑え、推定を安定させる技法
- 生存者バイアス生き残った個体だけを観察して全体を判断し、結論が正反対に歪む偏り
- 多重共線性説明変数どうしが強く相関し、回帰係数の推定が不安定になる現象
- 適合率・再現率とROC曲線分類モデルの当たり外れを混同行列から多面的に測る評価指標の体系
