$yuzu->log();

技術ネタなど。

【機械学習】ベイジアンフィルタ

機械学習 ベイジアンフィルタ アルゴリズム

ベイジアンフィルタとは

ベイジアンフィルタ (Bayesian Filter)とはナイーブベイズ分類を応用したもので、対象となるデータを解析・学習し分類する為のフィルタです。 現状では迷惑メールフィルタやスパム投稿などの判定で利用されています。

ベイズの定理

ベイズの定理(Bayes' theorem)とは条件付き確率に関して成り立つ定理で、トーマス・ベイズによって示されたものです。

\displaystyle P(B|A) = \frac{P(A|B)P(B)}{P(A)}
  • \( (A) \)とは\( A \)が起きる確率
  • \( P(B) \)とは、\( B \)が起きる確率(事前確率)
  • \( P(A|B) \)とは、\( B \)のあとで\( A \)が起きる確率(条件付き確率、尤度)
  • \( P(B|A) \)とは、\( A \)のあとで\( B \)が起きる確率(条件付き確率、事後確率)

条件付き確率とは

条件付き確率とは、ある事象Aが起こる条件下で、別の事象Bが起こる確率のことです。これを

\( P(B|A) \)

と表します。 たとえば

  • \( P(雨) \) = 雨の降る確率
  • \( P(事故) \) = 交通事故の発生確率

とすると雨が降っていて、交通事故が発生する確率は

\( P(事故|雨) \)

と表せます。

次はベイズの定理を使って実践的な問題を解いてみましょう。

ベイズの定理から見る膵臓ガン発見の検査方法

www.huffingtonpost.jp

15歳の少年が膵臓がん発見の画期的な方法を開発したことがについて、この検査方法が統計的にどのような意味をもつのかをベイズの定理を使って計算してみます。

  • \( p1 \) = 被験者が陽性になる確率
  • \( p2 \) = 被験者が陰性になる確率
  • \( p3 \) = 被験者ががん患者である確率
  • \( X \) = 被検査者はガンであるという事象
  • \( Y\) = 検査の結果、被検査者はガンであると示す事象

とすると

  • \( p1 = P(X|Y) \)
  • \( p2 = P(X^{c}|Y^{c}) \)
  • \( p3 = P(Y) \)

と表せる。 \( X^{c} \) や \( Y^{c} \) はそれぞれの補事象。

ここで \( P(X) \) は検査結果が真陽性となる確率と偽の陰性となる確率を足したものなので、

\( P(X) = P(Y)P(X|Y) + P(Y^{c})P(X|Y^{c}) \)

さらに、

\( P(X|Y^{c}) = 1-P(X^{c}|Y^{c}) \)

のため、

ベイズの定理より

 {
\begin{align} 
  P(Y|X) &= \frac{P(X|Y)P(Y)}{P(X)} \\
&=  \frac{P(X|Y)P(Y)}{P(Y)P(X|Y) + P(Y^{c})P(X|Y^{c})} \\
&=  \frac{P(X|Y)P(Y)}{P(Y)P(X|Y) + P(Y^{c})(1-P(X^{c}|Y^{c}))} \\
&= \frac{p1p3}{p1p3+(1-p3)(1-p2)} 
      \end{align}
}

となります。

実際の数値を当てはめてみましょう。 2008年の膵臓がんの患者数は29,584人、総人口は1億2769万2000人なので

\( p3 = 0.23168 * 10^{-3} \)

また簡単のために p1, p2をひとまとめに誤検出の確率と仮定してp1=p2=qおくと、\( P(Y|X) \) が70%となるようなqは

\( q=0.99990 \)

となります。 このことから、99.99%の精度をもつ検出方法でも実際には30%も見逃してしまうということがわかります。

さらに、「400倍の精度で検査できる」という部分を誤検出の確率が400分の1になったという意味だと解釈して、

\( q' = 1- \frac{(1-q)}{400} \)

とおいてがん患者が検査の結果実際に陽性だと判定される確率を再度計算すると

\( P(Y|X) = 0.99892 \)

となります。これは30%見逃していたのが1%まで減ったということです。 実に素晴らしい結果ですね。

次回はベイズの定理を使ったナイーブベイズ分類器のお話です。

yuzurus.hatenablog.jp

ベイズ統計学入門

ベイズ統計学入門