脱出時刻の分析

Spike-and-Slab prior からの効率的なサンプリング

A Blog Entry on Bayesian Computation by an Applied Mathematician

$$

$$

1 設定

continuous spike-and-slab prior は，Gauss 密度を用いて \[ \displaystyle p_\epsilon(x)=\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}e^{-\frac{x^2}{2\sigma^2}}+\frac{\gamma}{\sqrt{2\pi\sigma^2\epsilon^2}}e^{-\frac{x^2}{2\sigma^2\epsilon^2}} \] と表せるが，一般的な議論をするために \[ p_\epsilon(x)=(1-\gamma)p^1(x)+\gamma p^2_\epsilon(x),\qquad p^2_\epsilon(x):=\frac{1}{\epsilon}p^1\left(\frac{x}{\epsilon}\right) \] と表そう．

\(\epsilon\to0\) の極限を考える．そもそもベイズの文脈でこの解析がなされたことはないようである．

我々はこの極限の下でのサンプラーの挙動を解析したい．

2 イベント到着時刻 \(T_\epsilon\)

2.1 生存関数 \(S_\epsilon\)

\((x,v)=(0,\pm1)\) から開始したサンプラーのイベント時刻 \(T_\epsilon\) の生存関数は \[ S_\epsilon(t)=\frac{p_\epsilon(t)}{p_\epsilon(0)}=\frac{(1-\gamma)e^{-\frac{t^2}{2\sigma^2}}+(\gamma/\epsilon)e^{-\frac{t^2}{2\sigma^2\epsilon^2}}}{1-\gamma+(\gamma/\epsilon)} \] で与えられる．

このことは \(p_\epsilon\) が \((0,\infty)\) 上単調減少ならば（すなわち \(p_\epsilon\) が単峰性分布ならば）， \[ S_\epsilon(t)=\frac{p_\epsilon(t)}{p_\epsilon(0)}=\frac{1}{p^1(0)}\frac{(1-\gamma)p^1(t)+\frac{\gamma}{\epsilon}p^1(t/\epsilon)}{1-\gamma+(\gamma/\epsilon)} \] とまで一般化でき，サンプラーの生存率は \(p_\epsilon\) に比例する値になる．

一般の多峰性分布の場合

\[\begin{align*} S_\epsilon(t)&=\operatorname{P}[T_\epsilon>t]=\exp\left(-\int^t_0(U_\epsilon'(s))_+\,ds\right)\\ &=\exp\left(-U_\epsilon(t)+U_\epsilon(0)+\int^t_0U_\epsilon'(s)1_{\left\{U_\epsilon'<0\right\}}(s)\,ds\right)\\ &=\frac{p_\epsilon(t)}{p_\epsilon(0)}\exp\left(\int^t_0U_\epsilon'(s)1_{\left\{U_\epsilon'<0\right\}}(s)\,ds\right) \end{align*}\]

これは \(U_\epsilon\) の増加部分だけをつなげて出来る曲線になる．

2.2 極限

\[ \frac{\gamma}{\epsilon}p^1\left(\frac{t}{\epsilon}\right)\xrightarrow{\epsilon\to0}0,\qquad t\ne0, \] が成り立つために， \[ S_\epsilon(t)=\frac{p_\epsilon(t)}{p_\epsilon(0)}\xrightarrow{\epsilon\to0}1_{\{0\}}(t)\quad t\in\mathbb{R}_+, \] という関数になってしまう．つまり \(0\) から出ることはなく，\(T_\epsilon=0\;\;\text{a.s.}\) となる．

これは実際のサンプラーの挙動とは違う．この矛盾は収束極限がそのままでは Markov 過程ではないことに関係するのかもしれない．

2.3 平均 \(\operatorname{E}[T_\epsilon]\)

このとき，\((x,v)=(0,1)\) から開始する場合，サンプラーの最初のイベント時刻の平均は \[ \operatorname{E}[T_\epsilon]=\frac{1}{2p_\epsilon(0)}=\frac{1}{2}\frac{\sqrt{2\pi\sigma^2}}{1-\gamma+\gamma/\epsilon} \] である．\(\epsilon\to0\) で \(0\) に収束する．（密度が各点収束するため全変動収束する）．

一般の場合は \[ p_\epsilon(x)=(1-\gamma)p^1(x)+\frac{\gamma}{\epsilon}p^1\left(\frac{x}{\epsilon}\right) \] \[ \therefore\quad p_\epsilon(0)=\left(1-\gamma+\frac{\gamma}{\epsilon}\right)p^1(0) \] であることに注意．

3 脱出時刻 \(\tau_\epsilon^a\)

3.1 脱出時刻の表示

\([-a,a]\) からの脱出時刻 \(\tau^a_\epsilon\) を考えたい．これは \(T_\epsilon^{(1)},T_\epsilon^{(2)},\cdots\) を \(S_\epsilon\) からの i.i.d. とすると，最初に \(a\) を超える到着時刻 \(T_\epsilon^{(n)}\) の番号 \[ N_\epsilon:=\inf\left\{n\ge 1\,\middle|\,T_\epsilon^{(n)}>a\right\} \] を用いて， \[ \tau_\epsilon^a:=2\sum_{n=1}^{N_\epsilon-1}T_\epsilon^{(n)}+a \] と表せる．

3.2 平均

最終的には \(\tau_\epsilon^a\) の分布も特定できるが，まずは期待値を計算してみる．

命題

\[ \operatorname{E}[\tau_\epsilon^a]=\frac{\int^a_{-a}S_\epsilon(t)\,dt}{S_\epsilon(a)}-a=\frac{1}{p_\epsilon(a)}\int^a_{-a}p_\epsilon(t)\,dt-a. \]

3.2.1 証明１：\(\tau_\epsilon^a\) の表示

\(N_\epsilon\) の値で条件付けて考えよう．

\[ \left\{N_\epsilon=N\right\}=\left\{T_\epsilon^{(1)}\le a\right\}\cap\left\{T_\epsilon^{(2)}\le a\right\}\cap\cdots\cap\left\{T_\epsilon^{(N-1)}\le a\right\}\cap\left\{T_\epsilon^{(N)}>a\right\} \] に注意すると，

\[\begin{align*} \tau_\epsilon^a&=2\sum_{n=1}^{N_\epsilon-1}T_\epsilon^{(n)}+a\\ &=\sum_{N=1}^\infty1_{\left\{N_\epsilon=N\right\}}\left(2\sum_{n=1}^{N-1}T_\epsilon^{(n)}+a\right)\\ &=\sum_{N=1}^\infty\left(2\sum_{n=1}^{N-1}1_{\left\{N_\epsilon=N\right\}}T_\epsilon^{(n)}+a1_{\left\{N_\epsilon=N\right\}}\right) \end{align*}\]

よって，\(T_\epsilon^{(1)},T_\epsilon^{(2)},\cdots\) が i.i.d. であることから，期待値は次のように計算できる：

\[\begin{align*} \operatorname{E}[\tau_\epsilon^a]&=\sum_{N=1}^\infty\left(2\sum_{n=1}^{N-1}\operatorname{E}\left[1_{\left\{T_\epsilon^{(n)}\le a\right\}}T_\epsilon^{(n)}\right]F_\epsilon(a)^{N-2}S_\epsilon(a)+aF_\epsilon(a)^{N-1}S_\epsilon(a)\right) \end{align*}\]

3.2.2 証明２：条件付き期待値 \(\operatorname{E}\left[1_{\left\{T_\epsilon^{(n)}\le a\right\}}T_\epsilon^{(n)}\right]\) の計算

\[\begin{align*} \operatorname{E}\left[1_{\left\{T_\epsilon^{(n)}\le a\right\}}T_\epsilon^{(n)}\right]&=-\int^a_0tS_\epsilon'(t)\,dt\\ &=\biggl[-tS_\epsilon(t)\biggr]^a_0+\int^a_0S_\epsilon(t)\,dt\\ &=\int^a_0S_\epsilon(t)\,dt-aS_\epsilon(a). \end{align*}\]

この計算により，期待値は

\[\begin{align*} \operatorname{E}[\tau_\epsilon^a]&=\sum_{N=1}^\infty\left(2\sum_{n=1}^{N-1}\operatorname{E}\left[1_{\left\{T_\epsilon^{(n)}\le a\right\}}T_\epsilon^{(n)}\right]F_\epsilon(a)^{N-2}S_\epsilon(a)+aF_\epsilon(a)^{N-1}S_\epsilon(a)\right)\\ &=\sum_{N=1}^\infty\left(2(N-1)\left(\int^a_0S_\epsilon(t)\,dt-aS_\epsilon(a)\right)F_\epsilon(a)^{N-2}S_\epsilon(a)+aF_\epsilon(a)^{N-1}S_\epsilon(a)\right)\\ &=2\left(\int^a_0S_\epsilon(t)\,dt-aS_\epsilon(a)\right)S_\epsilon(a)\sum_{N=1}^\infty(N-1)F_\epsilon(a)^{N-2}+aS_\epsilon(a)\sum_{N=1}^\infty F_\epsilon(a)^{N-1}\\ &=2\frac{1}{S_\epsilon(a)}\int^a_0S_\epsilon(t)\,dt-2a+a\\ &=\frac{\int^a_{-a}S_\epsilon(t)\,dt}{S_\epsilon(a)}-a. \end{align*}\]

最後の等式は \(S_\epsilon(t)=\frac{p_\epsilon(t)}{p_\epsilon(0)}\) が対称であることによる．

3.2.3 極限の観察：\(\epsilon\to0\) を取ってから \(a\to0\) を取る

\[ \operatorname{E}[\tau^a_\epsilon]=\frac{1}{p_\epsilon(a)}\int^a_{-a}p_\epsilon(t)\,dt-a \]

は，まず \(a\to0\) で \(0\) に収束することがわかる．これは良いだろう．しかし，\(\epsilon\to0\) の極限では奇妙な挙動を見せる．

まず，\(a>0\) である限り， \[ p_\epsilon(a)=\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}e^{-\frac{a^2}{2\sigma^2}}+\frac{\gamma}{\sqrt{2\pi\sigma^2\epsilon^2}}e^{-\frac{a^2}{2\sigma^2\epsilon^2}} \xrightarrow{\epsilon\to0}\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}e^{-\frac{a^2}{2\sigma^2}}. \] そして \[\begin{align*} \int^a_{-a}\frac{\gamma}{\sqrt{2\pi\sigma^2\epsilon^2}}e^{-\frac{t^2}{2\sigma^2\epsilon^2}}\,dt=\frac{\gamma}{\sqrt{2\pi\sigma^2}}\int^{a/\epsilon}_{-a/\epsilon}e^{-\frac{s^2}{2\sigma^2}}\,ds\xrightarrow{\epsilon\to0}\gamma. \end{align*}\] であるから，

\[\begin{align*} \lim_{\epsilon\to0}\operatorname{E}[\tau_\epsilon^a]&=\frac{\sqrt{2\pi\sigma^2}}{1-\gamma}e^{\frac{a^2}{2\sigma^2}}\lim_{\epsilon\to0}\int^a_{-a}p_\epsilon(t)\,dt-a\\ &=\frac{\sqrt{2\pi\sigma^2}}{1-\gamma}e^{\frac{a^2}{2\sigma^2}}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}\int^a_{-a}e^{-\frac{t^2}{2\sigma^2}}\,dt+\gamma\right)-a\\ &=e^{\frac{a^2}{2\sigma^2}}\int^a_{-a}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\gamma}{1-\gamma}\sqrt{2\pi\sigma^2}e^{\frac{a^2}{2\sigma^2}}-a\\ &\xrightarrow{a\to0}\frac{\gamma}{1-\gamma}\sqrt{2\pi\sigma^2} \end{align*}\]

この最後の値は (Bierkens et al., 2023) にある \(\kappa^{-1}\) に他ならない！

3.2.4 条件付けによる議論

以上の議論は，条件付けを考えると見通しが良い．

＊この節はまだ厳密に議論できていない．指標関数のみを使っていれば見通しが良いが，条件付けによっても議論できるはず．

証明

以前ここには \[ T_\epsilon^{(1)}\perp\!\!\!\perp T_\epsilon^{(2)}\mid N_\epsilon^a \] という条件を与えていたが，これは必ずしも正しくない．

以下は示そうとした試み：

\(\left\{T_\epsilon^{(2)}<t\right\}\) という事象に関して， \[ \operatorname{P}[T_\epsilon^{(2)}<t|T_\epsilon^{(1)},N_\epsilon^a]=\operatorname{P}[T_\epsilon^{(2)}<t|N_\epsilon^a]\;\;\text{a.s.}\qquad t>0, \] が成り立てば良い (定理8.9 Kallenberg, 2021, p. 170)．これは右辺が \(\sigma[N_\epsilon^a,T_\epsilon^{(1)}]\) に関する条件付き期待値の性質 \[ \operatorname{E}\biggl[\operatorname{P}[T_\epsilon^{(2)}<t|N_\epsilon^a]1_{\left\{N_\epsilon^a=N,T_\epsilon^{(1)}< a\right\}}\biggr]=\operatorname{E}\biggl[\operatorname{P}[T_\epsilon^{(2)}<t]1_{\left\{N_\epsilon^a=N,T_\epsilon^{(1)}< a\right\}}\biggr] \] を満たすことを示せば良い．

\[\begin{align*} \operatorname{E}[\tau_\epsilon^a]&=\operatorname{E}\biggl[\operatorname{E}[\tau_\epsilon^a|N_\epsilon^a]\biggr]\\ &=\operatorname{E}\left[\operatorname{E}\left[2\sum_{n=1}^{N-1}T_\epsilon^{(n)}+a\,\middle|\,N_\epsilon^a=N\right]\right]\\ &=\operatorname{E}\left[2\operatorname{E}\left[\sum_{n=1}^{N-1}T_\epsilon^{(n)}\,\middle|\,N_\epsilon^a=N\right]+a\right]\\ &=2\operatorname{E}\left[(N_\epsilon^a-1)\operatorname{E}\left[T_\epsilon^{(1)}\,\middle|\,T_\epsilon^{(1)}\le a\right]\right]+a. \end{align*}\]

途中で \[ \operatorname{E}[T_\epsilon^{(1)}|N_\epsilon^a=N]=\operatorname{E}[T_\epsilon^{(1)}|T_\epsilon^{(1)}\le a] \] の変形を用いたが，これは \(N_\epsilon^a\perp\!\!\!\perp T_\epsilon^{(1)}\mid T_\epsilon^{(1)}\) による．

ここで \[ \operatorname{E}[T_\epsilon^{(1)}|T_\epsilon^{(1)}\le a]=\frac{\operatorname{E}\left[T_\epsilon^{(1)}1_{\left\{T_\epsilon^{(1)}\le a\right\}}\right]}{F_\epsilon(a)}=\frac{1}{F_\epsilon(a)}\left(\int^a_0S_\epsilon(t)\,dt-aS_\epsilon(a)\right) \] \[ \operatorname{E}[N_\epsilon^a-1]=\frac{1}{S_\epsilon(a)}-1=\frac{F_\epsilon(a)}{S_\epsilon(a)} \] に注意すると， \[ \operatorname{E}[\tau^a_\epsilon]=\frac{2}{S_\epsilon(a)}\left(\int^a_0S_\epsilon(t)\,dt-aS_\epsilon(a)\right)+a=\frac{\int^a_{-a}S_\epsilon(t)\,dt}{S_\epsilon(a)}-a. \]

以上の式変形は \(N_\epsilon^a\) の下で \(T_\epsilon^{(i)}\;(i<N)\) が同分布であることしか用いていないが，独立であることも用いると特性関数が導ける．

3.3 特性関数

命題

\[ \varphi^a_0(u)=e^{iua}\frac{1}{e^{2iua}-2iue^{\frac{a^2}{2\sigma^2}}\left(\int^a_{-a}e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\kappa^{-1}}{2}\right)} \] \[ \xrightarrow{a\to0}\frac{1}{1-iu\kappa^{-1}} \]

3.3.1 条件付き独立性に基づいた計算

\[\begin{align*} \varphi_\epsilon^a(u)&=\operatorname{E}\left[e^{iu\tau_\epsilon^a}\right]=\operatorname{E}\left[\sum_{N=1}^\infty\operatorname{E}\left[e^{iu\left(\sum_{n=1}^{N-1}2T_\epsilon^{(n)}+a\right)}\,\middle|\,N_\epsilon^a=N\right]\right]\\ &=\sum_{N=1}^\infty\operatorname{E}\left[e^{iua}\operatorname{E}\left[\prod_{n=1}^{N-1}\operatorname{E}[e^{iu2T_\epsilon^{(n)}}|T_\epsilon^{(n)}\le a]\,\middle|\,N_\epsilon^a=N\right]\right]\\ &=e^{iua}\sum_{N=1}^\infty\operatorname{P}[N_\epsilon^a=N]\prod_{n=1}^{N-1}\operatorname{E}\left[e^{iu2T_\epsilon^{(n)}}|T_\epsilon^{(n)}\le a\right]\\ &=e^{iua}\sum_{N=1}^\infty\operatorname{P}[N_\epsilon^a=N]\left(\frac{\Phi_\epsilon^a(u)}{F_\epsilon(a)}\right)^{N-1}\\ &=e^{iua}\frac{S_\epsilon(a)}{1-\Phi^a_\epsilon(u)}. \end{align*}\]

最後の等号の成立は \(\lvert\Phi^a_\epsilon(u)\rvert<1\) であることによる．

ここで \(N_\epsilon^a\) は幾何分布 \(\mathrm{G}(S_\epsilon(a))\) に従い，\(\operatorname{P}[N_\epsilon^a=N]=S_\epsilon(a)F_\epsilon(a)^{N-1}\) で， \[ \operatorname{E}\left[e^{iu2T_\epsilon^{(n)}}|T_\epsilon^{(n)}\le a\right]=\frac{\left[e^{2iuT_\epsilon^{(n)}}1_{\left\{T_\epsilon^{(n)}\le a\right\}}\right]}{F_\epsilon(a)}=:\frac{\Phi_\epsilon^a(u)}{F_\epsilon(a)} \] と定義した．

3.3.2 \(\Phi^a_\epsilon(u)\) という量

\[\begin{align*} \Phi^a_\epsilon(u)&=\operatorname{E}\left[e^{iu2T_\epsilon^{(n)}}|T_\epsilon^{(n)}\le a\right]\\ &=-\int^a_0e^{2iut}S'_\epsilon(t)\,dt\\ &=-\biggl[e^{2iut}S_\epsilon(t)\biggr]^a_0+\int^a_0(2iu)e^{2iut}S_\epsilon(t)\,dt\\ &=1-e^{2iua}S_\epsilon(a)+2iu\int^a_{0}e^{2iut}S_\epsilon(t)\,dt\\ &=:1-e^{2iua}S_\epsilon(a)+2iu\Psi^a_\epsilon(u). \end{align*}\] \[ \therefore\quad\varphi^a_\epsilon(u)=e^{iua}\frac{1}{e^{2iua}-2iu\frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}},\qquad\Psi^a_\epsilon(u):=\int^a_{0}e^{2iut}S_\epsilon(t)\,dt, \]

となるが，この \(\frac{\Psi^a_\epsilon}{S_\epsilon(a)}\) という量が面白い．

\(\operatorname{E}[\tau_\epsilon^a]\) の計算 (3.2.3) でも出てきた形だが，非積分関数に \(e^{2iut}\) が登場している点だけが違う．しかし \(S_\epsilon(a)\) と \(S_\epsilon(t)\) で特異性 \(p_\epsilon(0)\) を打ち消しあうので，非自明な極限が出てくる．

\[\begin{align*} \frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}&=\frac{1}{S_\epsilon(a)}\int^a_{0}e^{2iut}S_\epsilon(t)\,dt\\ &=\frac{1}{p_\epsilon(a)}\int^a_0e^{2iut}p_\epsilon(t)\,dt\\ &=\frac{1}{p_\epsilon(a)}\left((1-\gamma)\int^a_0e^{2iut}p^1(t)\,dt+\frac{\gamma}{\epsilon}\int^a_0e^{2iut}p^1\left(\frac{t}{\epsilon}\right)\,dt\right)\\ &=\frac{1}{p_\epsilon(a)}\left((1-\gamma)\int^a_0e^{2iut}p^1(t)\,dt+\gamma\int^{a/\epsilon}_0e^{2iu\epsilon s}p^1(s)\,ds\right)\\ &\xrightarrow{\epsilon\to0}\frac{1}{(1-\gamma)p^1(a)}\left((1-\gamma)\int^a_0e^{2iut}p^1(t)\,dt+\gamma\int^{\infty}_0p^1(s)\,ds\right)\\ &=\frac{1}{p^1(a)}\int^a_0e^{2iut}p^1(t)\,dt+\underbrace{\frac{\gamma}{1-\gamma}\frac{1}{p^1(a)}}_{=\kappa^{-1}}\int^\infty_0p^1(s)\,ds\\ &=\frac{1}{p^1(a)}\int^a_0e^{2iut}p^1(t)\,dt+\frac{1}{2\kappa}. \end{align*}\]

さらに最初の積分は部分積分より \[\begin{align*} 2iu \frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}&=\frac{2iu}{p^1(a)}\int^a_0e^{2iut}p^1(t)\,dt+\frac{iu}{\kappa}\\ &=\frac{1}{p^1(a)}\biggl[e^{2iut}p^1(t)\biggr]^a_0-\frac{1}{p^1(a)}\int^a_0e^{2iut}(p^1)'(t)\,dt+\frac{iu}{\kappa}\\ &=e^{2iua}-\frac{p^1(0)}{p^1(a)}-\frac{1}{p^1(a)}\int^a_0e^{2iut}(p^1)'(t)\,dt+\frac{iu}{\kappa} \end{align*}\] \[ \therefore\quad\varphi^a_0(u)=\frac{e^{iua}}{\frac{p^1(0)}{p^1(a)}+\frac{1}{p^1(a)}\int^a_0e^{2iut}(p^1)'(t)\,dt-\frac{iu}{\kappa}} \]

さらに \(a\to0\) の極限を取ると \[ \lim_{a\to0}\lim_{\epsilon\to0}\varphi_\epsilon^a(u)=\frac{1}{1-iu/\kappa} \] は指数分布 \(\operatorname{Exp}(\kappa)\) の特性関数に他ならない．

Gauss 密度の場合

\[\begin{align*} \frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}&=\frac{1}{S_\epsilon(a)}\int^a_{0}e^{2iut}S_\epsilon(t)\,dt\\ &=\frac{1}{p_\epsilon(a)}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}\int^a_{0}e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\gamma}{\sqrt{2\pi\sigma^2}}\frac{1}{\epsilon}\int^a_{0}e^{2iut}e^{-\frac{t^2}{2\sigma^2\epsilon^2}}\,dt\right)\\ &=\frac{1}{p_\epsilon(a)}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}\int^a_{0}e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\gamma}{\sqrt{2\pi\sigma^2}}\int^{a/\epsilon}_{0}e^{2iu\epsilon s}e^{-\frac{s^2}{2\sigma^2}}\,ds\right)\\ &\xrightarrow{\epsilon\to0}\frac{1}{e^{-\frac{a^2}{2\sigma^2}}}\int^a_{-a}e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\gamma}{1-\gamma}\sqrt{2\pi\sigma^2}e^{\frac{a^2}{2\sigma^2}} \frac{1}{\sqrt{2\pi\sigma^2}}\int^{\infty}_{0}e^{-\frac{s^2}{2\sigma^2}}\,ds\\ &=\frac{1}{e^{-\frac{a^2}{2\sigma^2}}}\int^a_{-a}e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt+\frac{\gamma}{1-\gamma}\sqrt{2\pi\sigma^2}e^{\frac{a^2}{2\sigma^2}}\frac{1}{2}\\ &\xrightarrow{a\to0}\frac{\gamma}{1-\gamma}\sqrt{2\pi\sigma^2}\frac{1}{2}=:\frac{\kappa^{-1}}{2}. \end{align*}\]

3.4 密度

命題

\[ \pi^a_\epsilon(t)=\frac{1}{2\pi}\int_\mathbb{R}e^{-iut}\varphi_\epsilon^a(u)\,du \] \[ \pi^a_0(t)=\frac{1}{2\pi}\int_\mathbb{R}e^{-iut}\frac{e^{iua}}{\frac{p^1(0)}{p^1(a)}+\frac{1}{p^1(a)}\int^a_0e^{2iut}(p^1)'(t)\,dt-\frac{iu}{\kappa}}\,du \] \[ \xrightarrow{a\to0} \frac{1}{2\pi}\int_\mathbb{R}e^{-iut}\frac{1}{1-\frac{iu}{\kappa}}=\kappa e^{-\kappa t}1_{(0,\infty)}(t). \]

最後は留数計算により従う．「有理式の Fourier 変換の留数計算」という類型に属する．

あとは \(\varphi_0^a\to\varphi_0^0\) の \(L^1\)-収束が言えれば，密度 \(\pi^a_\epsilon(t)\) の \(a\to0\) における概収束が従う（実は一様収束する）．\(\epsilon\to0\) も同様だと思われる．

3.4.1 指数密度の留数計算

命題 (定理V.2.2 Lang, 1999, p. 194)

\(f\) を \(\mathbb{C}\) 上の有理型関数で，有限個の極を \(\mathbb{C}\setminus\mathbb{R}\) 上に持つとする．加えて，\(0\) から十分離れた領域で \[ \lvert f(z)\rvert\le\frac{K}{\lvert z\rvert},\qquad\lvert z\rvert>R, \] を満たすとする．このとき，任意の \(t>0\) について \[ \int^\infty_{-\infty}f(x)e^{itx}\,dx=2\pi i\sum(\text{上半平面上の}\,e^{itx}f(x)\,\text{の留数}). \]

十分大きい \(\lvert u\rvert\) について \[ \left|1-\frac{iu}{\kappa}\right|\ge\lvert u\rvert/\kappa-1>\frac{\lvert u\rvert}{2\kappa}, \] が成り立つために，上述の命題を適用することができる．\(\frac{1}{1-iu/\kappa}\) の留数は \(u=-i\kappa\) における \(-i\kappa\) であるから， \[ \frac{1}{2\pi}\int^\infty_{-\infty}e^{-itu}\frac{1}{1-iu/\kappa}\,du=2\pi i(-i\kappa)=\kappa e^{-\kappa t}1_{(0,\infty)}(t). \]

\(t<0\) の場合は上半平面に極が存在しないため，積分が \(0\) になる点に注意．

3.4.2 特性関数の可積分性

しかし \[ \varphi^0_0(u)=\frac{\kappa}{\kappa-iu} \] という複素関数は \(L^1(\mathbb{R};\mathbb{C})\) に入っていない．

Fourier 変換が存在するだけである．

したがって特性関数が \(L^1\)-収束するために，Fourier 変換の連続性から密度の一様収束が従う，という議論はできない．

一方で Dirichlet 核というのは \(L^2(\mathbb{R};\mathbb{C})\setminus L^1(\mathbb{R};\mathbb{C})\) に属するものの典型である．

3.4.3 密度の各点収束

\[ \varphi^a_0(u)=e^{iua}\underbrace{\biggr(\frac{p^1(0)}{p^1(a)}+\frac{1}{p^1(a)}\int^a_0e^{2iut}(p^1)'(t)\,dt-\frac{iu}{\kappa}\biggl)^{-1}}_{=:g(u)^{-1}} \] という特性関数の分母に注目する．

すると Rouché の定理より，\(f(u)=\frac{p^1(0)}{p^1(a)}-\frac{iu}{\kappa}\) と \(g(u)\) の，十分大きい円 \(U(0,R)\) 内での零点の個数は，重複度も含めて等しい．すなわち１位の零点しか持たない．

よって \[ \int^\infty_{-\infty}\varphi^a_0(u)e^{-itu}\,du\xrightarrow{a\to0}\int^\infty_{-\infty}\varphi^0_0(u)e^{-itu}\,du. \]

3.4.4 密度 \(\pi_0^a\) の \(\partial_a\) による微分可能性

密度 \(\pi_0^a\) が \(\partial_a\) により微分可能であるかは，\(\partial_a\varphi_0^a\) が可積分になるかに依存する．

さらに \(\partial_a\pi_0^a\) が存在して局所有界（連続なら良い）であることは，のちの収束の証明でも用いる．

4 上下の脱出時刻

4.1 はじめに

\(\epsilon\to0\) の極限において，原点付近での振る舞いを見るために脱出時刻が使える．

その際は「上から出るか」「下から出るか」が問題になる．

\(\tau_\epsilon^{a+},\tau_\epsilon^{a-}\) はそれぞれ \(\operatorname{Exp}(\kappa/2)\) に従い， \[ \tau_\epsilon^a=\tau_\epsilon^{a+}\land\tau_\epsilon^{a-}\sim\operatorname{Exp}(\kappa) \] となると思うかもしれないが，そうはならない．

\(\tau_\epsilon^{a+}\) は最初に下から出た場合は，原点まで戻って来るまでの時間が加算されるために，\(\tau_\epsilon^{a-}\) と相関を持つ確率変数になる．

4.2 上側脱出時刻の特性関数

\[ \tau_\epsilon^{a+}=2\sum_{n=1}^{N_\epsilon^+-1}T_\epsilon^{(n)}+a \] \[ N_\epsilon^+:=\min\left\{n\ge 1\mid T_\epsilon^{(n)}>a,\;n\;\text{は奇数}\right\} \] と考えると，\(\tau_\epsilon^a\) の場合と全く同様に，次のように計算できる：

\[\begin{align*} \varphi_\epsilon^{a+}(u)&=\operatorname{E}\left[e^{iu\tau_\epsilon^{a+}}\right]\\ &=\operatorname{E}\left[\sum_{N=1}^\infty\operatorname{E}\left[e^{iu\left(2\sum_{n=1}^{2N-2}T_\epsilon^{(n)}+a\right)}1_{\left\{N_\epsilon^+=2N-1\right\}}\right]\right]\\ &=\sum_{N=1}^\infty e^{iua}\operatorname{E}\left[1_{\left\{T_\epsilon^{(2N-1)}>a\right\}}\right]\prod_{n=1}^{N-1}\operatorname{E}\left[e^{2iuT_\epsilon^{(2n-1)}}1_{\left\{T_\epsilon^{(2n-1)}\le a\right\}}\right]\operatorname{E}\left[e^{2iuT_\epsilon^{(2n)}}\right]\\ &=e^{iua}S_\epsilon(a)\sum_{N=1}^\infty\Phi^a_\epsilon(u)^{N-1}\Phi^\infty_\epsilon(u)^{N-1}\\ &=e^{iua}\frac{S_\epsilon(a)}{1-\Phi^a_\epsilon(u)\Phi^\infty_\epsilon(u)}. \end{align*}\]

ただし， \[\begin{align*} \Phi^{\infty}_\epsilon(u)&:=\operatorname{E}\left[e^{2iuT_\epsilon^{(1)}}\right]=\lim_{a\to\infty}\Phi^a_\epsilon(u)=\lim_{a\to\infty}\left[e^{2iuT_\epsilon^{(1)}}1_{\left\{T_\epsilon^{(1)}\le a\right\}}\right]\\ &=-\int^\infty_0e^{2iut}S_\epsilon'(t)\,dt\\ &=-\biggl[e^{2iut}S_\epsilon(t)\biggr]^\infty_0+2iu\int^\infty_0e^{2iut}S_\epsilon(t)\,dt\\ &=1+2iu\int^\infty_0e^{2iut}S_\epsilon(t)\,dt=:1+2iu\Psi^\infty_\epsilon(u). \end{align*}\] とした．

4.3 \(\Psi^\infty_\epsilon(u)\) の極限

\[ \Phi^a_\epsilon(u)=1-e^{2iua}S_\epsilon(a)+2iu\int^a_{0}e^{2iut}S_\epsilon(t)\,dt \] の最後の積分を \[ \Psi^a_\epsilon(u):=\int^a_{0}e^{2iut}S_\epsilon(t)\,dt \] とおくと， \[ \Phi^a_\epsilon(u)=1-e^{2iua}S_\epsilon(a)+2iu\Psi^a_\epsilon(u), \] \[ \Phi^\infty_\epsilon(u)=1+2iu\Psi^\infty_\epsilon(u). \] \[ \therefore\quad\frac{1-\Phi^a_\epsilon(u)\Phi^\infty_\epsilon(u)}{S_\epsilon(a)}=e^{iua}-2iu\frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}-2iu\frac{\Psi^\infty_\epsilon(u)}{S_\epsilon(a)}+O(\epsilon). \]

ここで， Section 3.3.2 より \[ \lim_{a\to0}\lim_{\epsilon\to0}\frac{\Psi^a_\epsilon(u)}{S_\epsilon(a)}=\kappa^{-1} \] であることに加えて， \[\begin{align*} \frac{\Psi^\infty_\epsilon(u)}{S_\epsilon(a)}&=\frac{1}{S_\epsilon(a)}\int^\infty_{0}e^{2iut}S_\epsilon(t)\,dt\\ &=\frac{1}{p_\epsilon(a)}\int^\infty_{0}e^{2iut}p_\epsilon(t)\,dt\\ &=\frac{1}{p_\epsilon(a)}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}\int^\infty_0e^{2iut}e^{-\frac{t^2}{\sigma^2}}\,dt+\frac{\gamma}{\sqrt{2\pi\sigma^2}}\frac{1}{\epsilon}\int^\infty_0e^{2iut}e^{-\frac{t^2}{\sigma^2\epsilon^2}}\,dt\right)\\ &\xrightarrow{\epsilon\to0}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}e^{-\frac{a^2}{2\sigma^2}}\right)^{-1}\left(\frac{1-\gamma}{\sqrt{2\pi\sigma^2}}\int^\infty_0e^{2iut}e^{-\frac{t^2}{\sigma^2}}\,dt+\frac{\gamma}{2}\right)\\ &\xrightarrow{a\to0}\int^\infty_0e^{2iut}e^{-\frac{t^2}{\sigma^2}}\,dt+\frac{\kappa^{-1}}{2}. \end{align*}\]

よって， \[ \lim_{a\to0}\lim_{\epsilon\to0}\frac{1-\Phi^a_\epsilon(u)\Phi^\infty_\epsilon(u)}{S_\epsilon(a)}=1-iu\kappa^{-1}-iu\left(\kappa^{-1}+2\int^\infty_0e^{2iut}e^{-\frac{t^2}{\sigma^2}}\,dt\right). \] \[ \therefore\qquad\lim_{a\to0}\lim_{\epsilon\to0}\varphi_\epsilon^{a+}(u)=\frac{1}{1-\frac{iu}{\kappa/2}-2iu\int^\infty_0e^{2iut}e^{-\frac{t^2}{2\sigma^2}}\,dt}. \]

\(\operatorname{Exp}(\kappa/2)\) から微妙にズレている！

4.4 下側脱出時刻の特性関数

下側脱出時刻の特性関数は，\(\epsilon\to0\) の極限で上側と同じものに収束することはわかるが，有限の \(\epsilon>0\) においては上下で非対称である．

\[ \tau_\epsilon^{a-}=2\sum_{n=1}^{N_\epsilon^--1}T_\epsilon^{(n)}-a \] \[ N_\epsilon^-:=\min\left\{n\ge 1\mid T_\epsilon^{(n)}>a,\;n\;\text{は偶数}\right\} \] と考えると，

\[\begin{align*} \varphi_\epsilon^{a-}(u)&=\operatorname{E}\left[e^{iu\tau_\epsilon^{a-}}\right]=\operatorname{E}\left[e^{iu\left(2\sum_{n=1}^{2N-1}T_\epsilon^{(n)}+a\right)}1_{\left\{N_\epsilon^-=2N\right\}}\right]\\ &=\sum_{N=1}^\infty\operatorname{E}\left[e^{2iuT_\epsilon^{(2)}}1_{\left\{T_\epsilon^{(2)}\le a\right\}}\right]\cdots\operatorname{E}\left[e^{2iuT_\epsilon^{(2n-2)}}1_{\left\{T_\epsilon^{(2n-2)}\le a\right\}}\right]\operatorname{E}\left[e^{iua}1_{\left\{T_\epsilon^{(2N)}> a\right\}}\right]\operatorname{E}[e^{2iuT_\epsilon^{(1)}}]^N\\ &=\sum_{N=1}^\infty e^{iua}S_\epsilon(a)\Phi^a_\epsilon(u)^{N-1}\Phi^\infty_\epsilon(u)^N\\ &=e^{iua}S_\epsilon(a)\frac{\Phi^\infty_\epsilon(u)}{1-\Phi^a_\epsilon(u)\Phi^\infty_\epsilon(u)}. \end{align*}\]

ここで， \[ \Phi^\infty_\epsilon(u)=1+iu\Psi^\infty_\epsilon(u)\xrightarrow{\epsilon\to0}1 \] であるから， \[ \lim_{\epsilon\to0}\varphi_\epsilon^{a-}(u)=\lim_{\epsilon\to0}\varphi_\epsilon^{a+}(u)=e^{iua}\left(\lim_{\epsilon\to 0}\frac{1-\Phi^a_\epsilon(u)\Phi^\infty_\epsilon(u)}{S_\epsilon(a)}\right)^{-1}. \]

4.5 上下のどちらに出るか？

上側に先に出る事象は \[ \left\{\tau_\epsilon^{a+}>\tau_\epsilon^{a-}\right\}=\left\{N_\epsilon^a=1\right\}\sqcup\left\{N_\epsilon^a=3\right\}\sqcup\cdots \] と表せる．

この確率は， \[\begin{align*} \operatorname{P}[\tau_\epsilon^{a+}>\tau_\epsilon^{a-}]&=\sum_{N=1}^\infty\operatorname{P}[N_\epsilon^a=2N-1]\\ &=\sum_{N=1}^\infty S_\epsilon(a)F_\epsilon(a)^{2N-2}\\ &=\frac{S_\epsilon}{1-F_\epsilon(a)^2}=\frac{1}{1+F_\epsilon(a)}. \end{align*}\]

よって有限の \(\epsilon>0\) においては上側の方が出やすい．しかし \(\epsilon\to0\) の極限で \[ F_\epsilon(a)\xrightarrow{\epsilon\to0}1\quad(a>0) \] であるから，上下から等しい確率で出る．

References

Bierkens, J., Grazzi, S., Meulen, F. van der, and Schauer, M. (2023). Sticky PDMP Samplers for Sparse and Local Inference Problems. Statistics and Computing, 33(1), 8.

Kallenberg, O. (2021). Foundations of modern probability,Vol. 99. Springer Cham.

Lang, S. (1999). Complex analysis. Springer New York.