lazy diary

統計とその周辺

ジェフリーズ事前分布(Jeffreys prior distribution)

たまにはブログ更新しないとと思ったので。
間違いがあればtwitterにでも気軽にリプくださると嬉しいです。

定義

ジェフリーズ事前分布という名前のついた事前分布があります。
en.wikipedia.org
ベイズ推論において尤度のパラメータ(多変量でも可)を\thetaとしたとき次のような事前分布のことを言います。
\begin{equation}
p(\theta) \propto |J(\theta)|^{1/2}
\end{equation}
ただしJ(\theta)はフィッシャー情報量です。フィッシャー情報量って何ぞという方はwikipediaでチェックしましょう。
ja.wikipedia.org

これは何?

この定義の何が嬉しいかというと変数変換に対して分布が不変なのです。つまり、ジェフリーズ事前分布を変数変換するとそれもまたジェフリーズ事前分布になります(ただし適当な条件下で)。実際に書き下してみましょう。変数変換を\phi = h(\theta)としたとき、
\begin{align}
p(\phi) &= p(\theta) |d\theta / d\phi| = p(\theta) |h'(\theta)|^{-1}\\
J(\phi) &= -E\left [\frac{d^2\log{p(y | \phi)})}{d\phi^2}\right ] \\
&= -E\left [ \left(\frac{d^2\log{p(y | \theta = h^{-1}(\phi))}}{d\theta^2} \right) \left (\frac{d\theta}{d\phi} \right)^2 \right] = J(\theta) \left (\frac{d\theta}{d\phi} \right)^2
\end{align}
となります。従ってp(\theta)がジェフリーズ事前分布ならば、
\begin{equation}
p(\phi) \propto |J(\theta)|^{1/2} |d\theta / d\phi| = |J(\phi)|^{1/2}
\end{equation}
となり、確かに変数変換してもジェフリーズ事前分布となります。

具体例

分散が既知の正規分布N(\mu, \sigma_0^2)を考えます。この事前分布としてジェフリーズ事前分布p(\mu)を考えます。定義通りフィッシャー情報量を求めれば十分です。
f:id:mt19:20190414002607p:plain
※何故かブログのtexが反応しないので画像で。(追記:期待値の外側に√が抜けています。結果には問題ありません。)
このように定数になります。定数というのはよくある無情報事前分布です。しかしパラメータは\mu \in (-\infty, \infty)を動くのでジェフリーズ事前分布を積分すると発散してしまい積分が1という確率の公理が満たされません。このような事前分布はimproperな事前分布と言われます。実際のところ、そんなに広いところまで\muが動くとは思えないので、ある程度の範囲で制限して閉区間にしたら良いと思います。そうすれば確率の公理を満たすproperな事前分布になります。

この具体例は変数変換に対して不変ということに何も触れていないので、具体例としてはイマイチです。肝心なこの定義の嬉しさを何も伝えられていません。正直なところ、どういうシチュエーションでこの事前分布がうまく働くのか私はあまり理解できていないので言及はしないでおきます。ちなみに参考文献2では少し言及されていて、どうやらこの事前分布を使える状況はかなり狭そうです。

何か分かればまた追記しますね。

参考文献

1.Andrew Gelman『Bayesian Data Analysis 3rd Edition』Chapman and Hall/CRC
2.8Noninformative prior distributionsに説明があります。

2. 渡辺 澄夫『ベイズ統計の理論と方法 』コロナ社
定義はp169にあります。