確率・分布●●●●●

信用区間

Credible Interval ・ しんようくかん

パラメータがその範囲にある確率を直接語れる、ベイズ版の区間推定

✦ 30秒で試す — 航海同じ95%の区間でも、切り方しだいで幅が変わる区間のすぐ外の左側の値と、区間の右端の値。確からしいのは?予想してみる

概要

信用区間は、ベイズ推論における区間推定です。データを観測したあとに得られる事後分布(パラメータについての「今の信念」を表す確率分布。事前分布と事後分布を参照)から、「パラメータがこの範囲に入っている確率が95%」と言える区間を切り出したものです。たとえば新しい施策のクリック率を推定して「95%信用区間は 3.2%〜4.8%」と言えば、それは文字どおり「クリック率がこの範囲にある確率が95%」という意味になります。

この「文字どおりの意味で読める」ことが信用区間の最大の特徴です。頻度論の信頼区間は見た目がよく似ていますが、「95%」の意味がまったく違います。多くの人が信頼区間を読むときに頭に浮かべる解釈——「真の値がこの範囲にある確率が95%」——は、実は信頼区間では誤りで、信用区間でだけ正しい解釈です。

信用区間は、ベイズ推論の結果を一言で要約する定番の道具です。事後分布そのものは曲線であり情報が多すぎるため、実務では「事後平均(または中央値)と95%信用区間」という形で報告するのが標準的なスタイルになっています。

なぜ生まれたか

区間で推定値の不確かさを表したい、という要求自体は古くからありました。頻度論はこれに信頼区間で答えましたが、その定義は「同じ手続きを何度も繰り返したとき、作られる区間のうち95%が真の値を含む」という、手続きの性能についての回りくどい保証です。目の前の1つの区間について「真の値が入っている確率」を語ることは、頻度論では原理的にできません。パラメータは固定された定数であり、確率を持つ対象ではないからです。この「知りたいことに直接答えてくれない」もどかしさが、常に信頼区間につきまとってきました。

頻度主義とベイズ主義の立場の違いのうち、ベイズはパラメータそのものを確率変数として扱います。するとデータを見たあとのパラメータの分布——事後分布——が定義でき、そこから確率95%を占める範囲を直接切り出せます。これが信用区間です。つまり信用区間は新しい発明というより、「区間推定に本来期待されていた素直な解釈」を、ベイズの枠組みが定義として成立させたものだと言えます。長らく計算の困難さから実用が限られていましたが、MCMCの普及で任意のモデルの事後分布からサンプルを取れるようになり、信用区間は日常的に使える道具になりました。

詳細

事後分布から区間を切り出す2つの流儀

確率95%を含む区間は、実は無数に取れます。左に寄せても右に寄せても、面積が95%でありさえすればよいからです。そこで「どこを切り出すか」の決め方として、代表的な流儀が2つあります。

1つ目は等裾区間(equal-tailed interval)で、事後分布の分位数を使い、下側2.5%点から上側2.5%点までを取る方法です。左右の裾から同じ確率ずつ切り落とすので、計算が簡単です。MCMCのサンプルがあればソートして両端を切るだけで得られるため、実務ではこちらが最もよく使われます。また、パラメータを対数などに変換しても分位数はそのまま移るので、「変換しても区間の中身が変わらない」という扱いやすさもあります。

2つ目は最高密度区間(HDI: Highest Density Interval)で、「確率95%を含む範囲のうち、幅が最も狭くなる区間」を取る方法です。密度が高い点から順に取り込んでいって95%に達したところで止める、と言い換えられます。その結果、区間の内側のどの点も外側のどの点より密度が高く、両端の密度が等しいという性質を持ちます。事後分布が左右対称なら両者は一致しますが、歪度の大きい非対称な分布では差が出て、HDIのほうが短く、山の側に寄ります。

最高密度区間の両端(金)は同じ高さ=密度 0.58等裾区間の両端(青緑)は高さが違う00.10.20.30.40.50.60.7事後分布95%最高密度区間 [0.009, 0.433] 幅 0.425等裾区間 [0.028, 0.482] 幅 0.454θ — 事後分布 Beta(2, 8)。どちらも確率95%を含む
右に歪んだ事後分布と2種類の95%信用区間 — 最高密度区間は両端の密度が等しく、等裾区間より短い

HDIの作り方は「水位を下げる」イメージで捉えると腑に落ちます。事後分布の曲線を島の断面に見立て、上から水平な水位線を下げていくと、線より上に顔を出す範囲が少しずつ広がり、その範囲の面積(確率)が増えていきます。面積がちょうど95%になった水位で止めたときの範囲がHDIで、両端が同じ水位線の上にあるのは当然というわけです。下の部品で水位線をつかんで下げ、95%に届く位置と、等裾区間(青緑)とのずれを確かめてみてください。

⚡ 体験: 水位を下げて、95%の区間を切り出す
事後分布
事後分布(θ の信念)水位 = 密度 4.35等裾区間 幅 0.408確率95%0%
区間の確率0.0%HDI—等裾区間[0.019, 0.427]両端の密度(等裾)2.20 / 0.36

青い水位線をつかんで、ゆっくり下げてください。線より上に顔を出した範囲が金色の区間になり、その確率(金の面積)が右のメーターに溜まっていきます。

金 = 水位線より上に出た範囲(最高密度区間)の確率。青緑 = 両裾を2.5%ずつ切った等裾区間

HDIにも弱点があります。パラメータを変換すると(たとえば分散から標準偏差へ)HDIは別の区間になってしまい、また事後分布が二山のときは、HDIが2つの離れた区間に分かれることがあります。後者は「値はこのあたりか、あのあたり」という事後の姿を正直に表しているので、無理に1本の区間にまとめるより、分布の図そのものを示すほうが誠実です。

信頼区間との決定的な違い

信頼区間の95%は「区間を作る手続き」に付いた数字で、目の前の区間そのものには「真値を含むか含まないか、どちらかである」としか言えません。一方、信用区間の95%は目の前の区間に付いた数字で、「パラメータがこの中にある確率」をそのまま意味します。日常語の感覚に合うのは明らかに後者で、実際、信頼区間の誤読の多くは「信用区間のつもりで読んでしまう」ことから生じています。

ただし、この素直さには代価があります。信用区間は事前分布に依存します。事前分布の置き方が変われば事後分布が変わり、信用区間も動きます。データが十分に多ければ事前分布の影響は薄れ、信用区間と信頼区間は数値的にほぼ一致することが多いのですが、データが少ないときは「どんな事前知識を仮定したか」を明示して報告する誠実さが求められます。逆に、事前分布を置く見返りとして、少ないデータでも「0%〜100%」のような無意味な区間になりにくく、成功率が0回や全勝のときでも筋のよい区間が出せるのは信用区間の強みです。

実務での使い方と落とし穴

MCMCや確率的プログラミングのツール(Stan、PyMCなど)を使う現代のワークフローでは、信用区間の計算は「事後分布からのサンプルを並べて分位点を取る」だけです。区間だけでなく「クリック率が4%を超える確率」のような任意の確率も同じサンプルから読み取れるのが、点推定より豊かなベイズ流の利点です。サンプルからHDIを求めるときは、並べたサンプルのうち95%を含む最短の窓を探します。ただしサンプル数が少ないと裾の推定が不安定になり、区間の端は思ったより揺れるので、有効サンプルサイズを確認しておくことが大切です。

落とし穴は主に3つあります。1つは、信用区間の素直な解釈に安心して、モデルや事前分布の妥当性の検討を省いてしまうことです。「95%の確率で区間内」という主張は、あくまで置いたモデルと事前分布が妥当である限りにおいて成り立ちます。2つ目は、報告された区間が等裾区間なのかHDIなのか、何%なのかを明記しないことです。ツールによって既定値が違い(89%や94%を既定にするものもあります)、歪んだ分布では両者の数値がはっきり食い違います。3つ目は、信用区間が0をまたぐかどうかを仮説検定の有意・非有意のように白黒判定に使ってしまうことです。区間推定の利点は効果の大きさと不確かさを連続的に示せることにあり、二値判定に還元してしまうとp値の悪弊をベイズの言葉で再演することになります。仮説の比較そのものをしたい場合は、ベイズファクターという別の道具があります。

試問

ベイズ推定で得た事後分布(知りたい値 θ がどこにありそうかを表す分布)から、確率 95% の区間を切り出します。切り方は2通りあります。両裾から 2.5% ずつ切り落とす等裾区間と、水面を上から下げていき、水面より上に出た部分が 95% になったところで切る最高密度区間です。はじめは左右対称な事後分布です。分布を選び、水位線を自分の手で下げてください。

✦ 命題挑戦中

最高密度区間が等裾区間より 5% 以上短くなる事後分布を選び、水位線を下げてその 95% 区間を切り出せ

  • 水位線を下げて、確率 95% の区間を切り出す(いま 0%)
  • その区間(最高密度区間)が、等裾区間より 5% 以上短い
⚡ 体験: 分布を選び、水位を下げて95%を切り出す
事後分布
事後分布(θ の信念)水位 = 密度 4.06等裾区間 幅 0.388確率95%0%
区間の確率0.0%HDI—等裾区間[0.306, 0.694]両端の密度(等裾)0.64 / 0.64

青い水位線をつかんで、ゆっくり下げてください。線より上に顔を出した範囲が金色の区間になり、その確率(金の面積)が右のメーターに溜まっていきます。

金 = 水位線より上に出た範囲(最高密度区間)の確率。青緑 = 両裾を2.5%ずつ切った等裾区間