ベイズの考え方 — 「確信」をデータで更新する

確率を「サイコロの出やすさ」ではなく「自分の確信の度合い」と読む — それがベイズの視点です。出発点の信念(事前分布)がデータ(尤度)を取り込んで事後分布に更新される過程を、コイン投げと医療検査のパラドックスで体感します。

1. 逆向きに考える — ベイズの定理

普通の確率は「コインの表率が0.7なら、10回中7回表が出やすい」と原因→結果の向きに計算します。しかし現実に欲しいのは逆で、「10回中7回表が出たのだから、表率はどれくらいか」— つまり結果→原因の推論です。この向きを反転させる道具がベイズの定理です。

P(仮説 | データ) = P(データ | 仮説) × P(仮説) / P(データ) 左辺=事後確率(データを見た後の確信)、P(データ|仮説)=尤度、P(仮説)=事前確率(データを見る前の確信)
事後分布 ∝ 尤度 × 事前分布 分母 P(データ) は仮説によらない正規化定数。形を決めるのは分子の掛け算だけ

ポイントは、答えが1つの数ではなく分布で返ってくること。「表率はたぶん0.7、でも0.6かもしれない」という不確かさごと持ち歩けるのがベイズ推論の強みです。

2. コインを投げるたびに賢くなる — 逐次更新

表の出る確率 p が未知のコインを投げて、p の分布を更新してみましょう。最初は「p について何も知らない」=一様分布 Beta(1,1) からスタート。ボタンを押してデータを増やすほど、分布が尖って確信が強まっていきます(このコインの真の p は 0.7 です)。

コイン投げベイズ更新 — 事後分布が尖っていく
青い山=現在の事後分布(横軸は「表になる確率 p」)。右上の丸が直近の結果で、オレンジ=表、グレー=裏。投げるたびに山が動きながら細くなり、オレンジの印(MAP推定値=分布のピーク)が真の値 0.7(緑の破線)へ吸い寄せられていきます。数十回では 0.7 ちょうどにはならない — その「ずれ具合」も分布の幅が正直に教えてくれます。
Beta(α, β) の事前 + 表 h 回・裏 t 回の観測 → 事後は Beta(α + h, β + t) ベータ分布は二項観測の共役事前分布 — 更新が「回数を足すだけ」になる
POINT — 逐次更新=一括更新 「1回投げて更新」を100回繰り返しても、「100回分をまとめて1回で更新」しても、事後分布は完全に同じになる。今日の事後分布を明日の事前分布として使えばよい — ベイズ更新はデータが流れ込み続けるオンライン学習と本質的に相性が良い。

3. 事前分布はどれくらい効くのか

「事前分布は主観の持ち込みでは?」— これはベイズへの定番の疑問です。実際に確かめましょう。観測データは常に表:裏 = 8:2 の割合に固定し、①事前の強さ(「このコインは公平なはず」という信念の強さ)と、②データの量、の2つを動かします。

事前分布の影響 — データが増えると信念は上書きされる
紫の破線=事前分布、青い山=事後分布、緑の細い破線=もし事前が一様だったらの事後。データが10回のうちは、強い事前を置くと事後のピークはデータの比率 0.8 ではなく 0.5 側に引っ張られます。そこからデータ量を200まで増やしてみてください — 青い山が緑の山にほぼ重なり、事前の影響がデータに飲み込まれていくのが見えます。
POINT — 事前は「消えていく仮定」 事前分布の影響はデータ量に対して相対的に薄まり、十分なデータの下では異なる事前から出発しても事後はほぼ一致する。逆に言えば、データが少ない領域でこそ事前(ドメイン知識)が効く。少数データでの推定・正則化・スムージングは、みなベイズの事前の顔をしている。

4. 精度99%の検査で陽性 — 本当に病気?

ベイズの定理が直感を裏切る有名な例が医療検査のパラドックスです。精度99%(感度=特異度=99%)の検査で陽性と出たら、病気の確率は99%…ではありません。答えは有病率(事前確率)に強烈に依存します。1万人を検査した内訳を見てみましょう。

1万人ドットアレイ — 陽性のうち本物は何人?
1点=1人。赤=真陽性(病気で陽性)、オレンジ=偽陽性(健康なのに陽性)、暗い赤=偽陰性、紺=正しく陰性。有病率が低いと、病気の人(赤)が少なすぎて、健康な大集団からわずか1%こぼれる偽陽性(オレンジ)に数で負けます。有病率スライダーを上げ下げして、右の陽性的中率が激変するのを確かめてください。
P(病気 | 陽性) = 感度 × 有病率 / [ 感度 × 有病率 + (1 − 特異度) × (1 − 有病率) ] 分母=陽性と出る全確率。有病率 0.5%・精度99% なら ≈ 0.33 — 陽性でも病気の確率は3人に1人
注意 — 基準率の無視 「検査の精度」と「陽性だったとき病気の確率」は別の条件付き確率(P(陽性|病気) と P(病気|陽性))で、人間はこれを混同しやすい(基準率の無視)。実務での正しい対応は再検査=もう一度のベイズ更新。1回目の陽性で事後確率が 0.1% → 33% に上がった状態を事前として2回目も陽性なら、確率は 98% 程度まで跳ね上がる。検査を重ねる意味はここにある。

5. 頻度主義とベイズ主義 — 何が違うのか

ここまでの操作を振り返ると、ベイズの特徴は「パラメータ p を確率変数として扱い、分布で答える」ことに尽きます。伝統的な頻度主義は逆に、p は固定の真値でありランダムなのはデータの側だ、と考えます。

一歩先へ — 2つの流派の視点の違い 頻度主義では「95%信頼区間」は手続きの成功率(同じ実験を無限に繰り返せば区間の95%が真値を含む)であり、目の前の区間に真値がある確率ではない。ベイズの「95%確信区間」は文字どおりこの区間に p がある確信が95%と読める代わりに、事前分布という仮定を明示的に背負う。機械学習では、正則化(=事前分布)・ベイズ最適化・ガウス過程・変分オートエンコーダなど、ベイズの語彙が至るところに顔を出す — 対立ではなく道具の使い分けとして両方の見方を持っておきたい。

6. まとめ