16회 · 베이즈의 귀환 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 균등 사전분포는 모수화에 달려 있다 ★

정리 2.6 · [T7] · 15분

$X\sim$ Bernoulli$(p)$이다.

1. (a)

   $p\sim\mathrm U(0,1)$이면 $\phi=p^2$의 밀도가 $\frac1{2\sqrt\phi}$ ($0<\phi<1$)이고 균등이 아님을 보여라.

2. (b)

   $\phi=p^2$을 모수로 써서 Fisher 정보 $I_\phi(\phi)$를 직접 계산하고 Jeffreys 사전분포 $\sqrt{I_\phi}$를 구하라.

3. (c)

   (b)가 $\mathrm{Beta}(\frac12,\allowbreak \frac12)$를 $\phi=p^2$으로 변수변환한 밀도와 상수배를 빼고 같음을 확인하라.

힌트

(b) $p=\sqrt\phi$이므로 $dp/d\phi=\frac1{2\sqrt\phi}$이고 $I_\phi=I_p\,(dp/d\phi)^2$이다. 직접 계산하려면 $\log f=x\log\sqrt\phi+(1-x)\log(1-\sqrt\phi)$를 $\phi$로 미분한다.

풀이

(a) $P(\phi\le t)=P(p\le\sqrt t)=\sqrt t$이므로 밀도는 $\frac1{2\sqrt t}$로, 0 근처에서 무한대로 간다. $p$에 “모름”을 균등으로 주면 $p^2$에는 작은 값을 선호하는 정보를 준다. (b) $\frac{\partial}{\partial\phi}\log f=\Bigl(\frac x{\sqrt\phi}-\frac{1-x}{1-\sqrt\phi}\Bigr)\frac1{2\sqrt\phi}$이다. 괄호의 분산은 $I_p(p)=\frac1{p(1-p)}$이므로 $I_\phi=\frac1{\sqrt\phi(1-\sqrt\phi)}\cdot\frac1{4\phi}$이고 $\sqrt{I_\phi}\propto\phi^{-3/4}(1-\sqrt\phi)^{-1/2}$이다. (c) $\mathrm{Beta}(\frac12,\allowbreak \frac12)$의 밀도 $\propto p^{-1/2}(1-p)^{-1/2}$를 $p=\sqrt\phi$로 옮기면 $\phi^{-1/4}(1-\sqrt\phi)^{-1/2}\cdot\frac1{2\sqrt\phi}\propto\phi^{-3/4}(1-\sqrt\phi)^{-1/2}$로 (b)와 같다. 정리 2.6의 한 예다.

C2 상수 추정량은 허용적이다 ★★

[T2] · 정리 2.3 · 15분

$X\sim\N(\theta,1)$, 제곱손실이다. 상수 추정량 $\delta_0(X)\equiv0$은 허용적이지만 minimax가 아님을 보여라. 허용성이 “좋은 추정량”의 충분조건이 아님을 이 예로 설명하라.

힌트

$\delta$가 $\delta_0$을 지배하면 $R(0,\allowbreak \delta)\le R(0,\allowbreak \delta_0)=0$이다. 위험이 0이면 $\delta(X)=0$ (확률 1)이고, $\N(\theta,1)$들은 같은 영집합을 갖는다.

풀이

$\delta$가 $\delta_0$을 지배한다고 하자 [T2]. 그러면 $R(0,\allowbreak \delta)\le R(0,\allowbreak \delta_0)=0$이므로 $E_0\delta(X)^2=0$, 곧 $P_0(\delta(X)\neq0)=0$이다. 모든 $\theta$에서 $\N(\theta,1)$은 $\N(0,1)$과 같은 영집합을 갖는다(밀도가 어디서나 양수). 따라서 모든 $\theta$에서 $\delta(X)=0$ (확률 1)이고 $R(\theta,\allowbreak \delta)=R(\theta,\allowbreak \delta_0)=\theta^2$이다. 어떤 $\theta$에서 엄격히 작다는 지배의 조건과 모순이다. 그러나 $\sup_\theta R(\theta,\allowbreak \delta_0)=\sup\theta^2=\infty>1=\sup_\theta R(\theta,\allowbreak X)$이므로 minimax가 아니다. 허용성은 “모든 곳에서 지는 일은 없다”일 뿐이고, 한 점에 내기를 거는 추정량도 그 점에서 이기므로 허용적이다.

C3 Bayes 위험의 극한과 minimax ★★

[T5] · 정리 2.3 · 20분

1. (a)

   사전분포의 열 $\pi_k$와 그 Bayes 추정량 $\delta_k$에 대해 $r(\pi_k,\delta_k)\to c$이고 어떤 추정량 $\delta$가 $\sup_\theta R(\theta,\allowbreak \delta)=c$이면 $\delta$는 minimax임을 보여라.

2. (b)

   $X_1,\dots,X_n\iid\N(\mu,1)$, 사전분포 $\N(0,\tau^2)$의 Bayes 위험 $r_\tau$를 $\tau$와 $n$의 식으로 구하라.

3. (c)

   (a)와 (b)로 $\bar X$가 minimax임을 보여라. 정리 2.3(b)를 바로 쓸 수 없는 이유는?

힌트

(a) 임의의 $\delta^\prime$에 대해 $\sup_\theta R(\theta,\allowbreak \delta^\prime)\ge r(\pi_k,\allowbreak \delta^\prime)\ge r(\pi_k,\allowbreak \delta_k)$이고 $k\to\infty$로 보낸다. (b) Bayes 위험은 사후분산(정리 2.1(a))이다.

풀이

(a) 임의의 $\delta^\prime$과 모든 $k$에서 $\sup_\theta R(\theta,\allowbreak \delta^\prime)\ge r(\pi_k,\allowbreak \delta^\prime)\ge r(\pi_k,\allowbreak \delta_k)$이다(평균은 최댓값을 넘지 않고, $\delta_k$는 Bayes). $k\to\infty$이면 $\sup_\theta R(\theta,\allowbreak \delta^\prime)\ge c=\sup_\theta R(\theta,\allowbreak \delta)$이다 [T5]. (b) 정리 1.2(c)로 사후분산은 $\frac1{n+1/\tau^2}=\frac{\tau^2}{n\tau^2+1}$이고 자료에 의존하지 않으므로 Bayes 위험도 이 값이다(정리 2.1(a)). (c) $\tau\to\infty$이면 $r_\tau\to\frac1n$이고 $R(\mu,\bar X)=\frac1n$이므로 (a)로 $\bar X$는 minimax다. $\bar X$는 어떤 정칙 사전분포의 Bayes 추정량도 아니므로(명제 2.4) 정리 2.3(b)를 그대로 쓸 수 없다. 극한으로 그 빈자리를 메운다.

최종답 (b) $\tfrac{\tau^2}{n\tau^2+1}$

C4 Barker의 받아들임 ★★

[T4] · 정리 4.5 · 20분

$r(x,\allowbreak y)=\frac{\pi(y)q(y,x)}{\pi(x)q(x,y)}$로 두고, MH의 $\alpha=\min\{1,r\}$ 대신 Barker(1965)의 $\alpha_B=\frac r{1+r}$을 쓴다.

1. (a)

   Barker의 전이핵도 $\pi$에 대해 상세 균형을 만족함을 보여라.

2. (b)

   모든 $r>0$에서 $\alpha_B\le\min\{1,r\}$임을 보여라. 같은 제안이면 MH가 덜 머무는 이유다.

3. (c)

   대칭 제안에서 $\pi(y)/\pi(x)=3$이면 Barker의 받아들임 확률은?

힌트

(a) $\pi(x)q(x,\allowbreak y)\cdot\frac r{1+r}=\frac{\pi(x)q(x,y)\pi(y)q(y,x)}{\pi(x)q(x,y)+\pi(y)q(y,x)}$는 $x$, $y$에 대칭이다.

풀이

(a) $a=\pi(x)q(x,y)$, $b=\pi(y)q(y,x)$로 두면 $r=b/a$이고 $\pi(x)k_B(x,\allowbreak y)=a\cdot\frac{b/a}{1+b/a}=\frac{ab}{a+b}$이다. 이것은 $a$와 $b$에 대칭이므로 $\pi(y)k_B(y,x)$와 같다. 제자리 덩어리는 정리 4.5의 증명과 같다. (b) $r\le1$이면 $\frac r{1+r}\le r$, $r>1$이면 $\frac r{1+r}<1$이다 [T4]. 받아들임 확률이 작으면 대각선 밖의 전이 확률이 작고, 같은 정상분포에서 더 오래 머문다(Peskun 1973). (c) $\frac3{1+3}=\frac34$이다. MH는 1이다.

최종답 (c) $\tfrac34$

C5 두 블록 Gibbs의 주변 연쇄는 가역이다 ★★

정리 4.7 · 20분

결합분포 $\pi(x,y)$에서 두 블록 Gibbs를 돌린다. 한 바퀴는 $Y\sim\pi(y\mid X)$, $X^\prime\sim\pi(x\mid Y)$다.

1. (a)

   $X$열의 전이핵이 $K(x,\allowbreak x^\prime)=\int\pi(y\mid x)\pi(x^\prime\mid y)\,dy$임을 보여라.

2. (b)

   $\pi_X(x)K(x,\allowbreak x^\prime)=\int\frac{\pi(x,y)\pi(x^\prime,y)}{\pi_Y(y)}\,dy$이고, 따라서 $X$열은 $\pi_X$에 대해 가역임을 보여라.

3. (c)

   체계적 순서의 한 바퀴는 일반적으로 가역이 아니다(노트 4절). (b)와 어긋나지 않는 이유를 설명하라.

힌트

(b) $\pi_X(x)\pi(y\mid x)=\pi(x,y)$이고 $\pi(x^\prime\mid y)=\pi(x^\prime,\allowbreak y)/\pi_Y(y)$이다. 오른쪽 적분은 $x$와 $x^\prime$에 대칭이다.

풀이

(a) $X=x$에서 $Y$를 뽑고 그 $Y$로 $X^\prime$을 뽑으므로 전확률 공식(연속판)으로 $K(x,\allowbreak x^\prime)=\int\pi(y\mid x)\pi(x^\prime\mid y)dy$이다. (b) $\pi_X(x)K(x,\allowbreak x^\prime)=\int\pi_X(x)\pi(y\mid x)\frac{\pi(x^\prime,y)}{\pi_Y(y)}dy=\int\frac{\pi(x,y)\pi(x^\prime,y)}{\pi_Y(y)}dy$이고, 이 식은 $x$와 $x^\prime$을 바꿔도 같다. (c) 체계적 순서의 비가역성은 $(X,Y)$ 쌍의 연쇄에 대한 것이다. 그 연쇄를 $X$에만 투영한 연쇄는 (b)대로 가역이다. 이 “자료 보강”(Tanner–Wong 1987) 구조에서는 $Y$가 $X$의 두 시점을 잇는 다리 역할만 한다.

C6 Poisson의 Stein 항등식 ★

보조정리 5.1 · 15분

$X\sim\mathrm{Poi}(\lambda)$이다.

1. (a)

   $E|Xg(X-1)|<\infty$이면 $E[\lambda g(X)]=E[Xg(X-1)]$임을 보여라. (정규의 $E[(Z-\theta)g(Z)]=E[g^\prime(Z)]$와 짝을 이루는 이산판이다.)

2. (b)

   $g(x)=x+1$을 넣어 $EX^2$을 $\lambda$의 식으로 구하라. ($\lambda$는 lam으로 쓴다.)

힌트

$E[Xg(X-1)]=\sum_{k\ge1}k\,g(k-1)e^{-\lambda}\lambda^k/k!$에서 $j=k-1$로 첨자를 옮긴다.

풀이

(a) $E[Xg(X-1)]=\sum_{k\ge1}g(k-1)e^{-\lambda}\frac{\lambda^k}{(k-1)!}=\lambda\sum_{j\ge0}g(j)e^{-\lambda}\frac{\lambda^j}{j!}=\lambda E[g(X)]$이다. 절대수렴이 가정되어 첨자를 옮겨도 된다(2회 보조정리 0.1). (b) $E[\lambda(X+1)]=E[X\cdot X]$이므로 $EX^2=\lambda(\lambda+1)=\lambda^2+\lambda$이고, 분산은 $\lambda$다.

최종답 (b) $\lambda^2+\lambda$

C7 임의의 점을 향한 축소 ★★

정리 5.2 · 20분

$\bnu\in\mathbb R^p$를 미리 정한 점이라 하자. $p\ge3$이면

$$\delta_{\bnu}(\X)=\bnu+\Bigl(1-\frac{p-2}{\|\X-\bnu\|^2}\Bigr)(\X-\bnu)$$

의 위험이 $p-(p-2)^2E\bigl[1/\|\X-\bnu\|^2\bigr]<p$임을 보여라. 위험이 가장 작은 $\btheta$는 어디인가?

힌트

$\mathbf Y=\X-\bnu\sim\N_p(\btheta-\bnu,\allowbreak I)$로 옮기면 정리 5.2 그대로다.

풀이

$\mathbf Y=\X-\bnu$, $\boldsymbol\eta=\btheta-\bnu$로 두면 $\mathbf Y\sim\N_p(\boldsymbol\eta,\allowbreak I)$이고 $\delta_{\bnu}-\btheta=\bigl(1-\frac{p-2}{\|\mathbf Y\|^2}\bigr)\mathbf Y-\boldsymbol\eta$이다. 이것은 $\mathbf Y$에 대한 James–Stein의 오차이므로 정리 5.2로 위험은 $p-(p-2)^2E[1/\|\mathbf Y\|^2]$이다. $E[1/\|\mathbf Y\|^2]=E[1/(p-2+2K)]$, $K\sim\mathrm{Poi}(\|\boldsymbol\eta\|^2/2)$은 $\|\boldsymbol\eta\|$가 작을수록 크므로(노트 연습 5.3) 위험은 $\btheta=\bnu$에서 최소 2다. 줄일 곳을 참값 근처로 고르면 이득이 크고, 멀리 골라도 손해는 없다.

C8 축소 상수의 범위 ★★

정리 5.2 · 15분

$c>0$에 대해 $\delta_c(\X)=\bigl(1-\frac c{\|\X\|^2}\bigr)\X$, $p\ge3$이다.

1. (a)

   $R(\btheta,\allowbreak \delta_c)=p-\bigl[2c(p-2)-c^2\bigr]E[1/\|\X\|^2]$임을 보여라.

2. (b)

   $\delta_c$가 $\X$를 지배할 필요충분조건이 $0<c<2(p-2)$임을 보여라.

3. (c)

   모든 $\btheta$에서 위험이 가장 작은 $c$를 $p$의 식으로 구하라.

힌트

정리 5.2의 증명에서 $p-2$를 $c$로 바꾼다. 교차항은 $c(p-2)E\|\X\|^{-2}$, 마지막 항은 $c^2E\|\X\|^{-2}$이다.

풀이

(a) $\mathbf g=c\X/\|\X\|^2$이면 $\nabla\!\cdot\mathbf g=c(p-2)/\|\X\|^2$, $\|\mathbf g\|^2=c^2/\|\X\|^2$이므로 정리 5.2의 계산과 같이 $R=p-2c(p-2)E\|\X\|^{-2}+c^2E\|\X\|^{-2}$이다. (b) $E\|\X\|^{-2}\in(0,\infty)$이므로 $R<p$ (모든 $\btheta$) $\iff2c(p-2)-c^2>0\iff0<c<2(p-2)$이다. $c=2(p-2)$이면 위험이 정확히 $p$로 지배하지 못한다. (c) 괄호 $2c(p-2)-c^2$은 $c=p-2$에서 최대이고 그 값은 $(p-2)^2$이다. $E\|\X\|^{-2}$이 $c$에 무관하므로 모든 $\btheta$에서 같은 $c$가 최선이다.

최종답 (c) $c=p-2$

C9 두 점 사전분포의 Tweedie ★★

정리 8.5 · 20분

$\theta$가 $\pm1$을 반씩 갖고 $X\mid\theta\sim\N(\theta,1)$이다. $E(\theta\mid X=x)$를 (a) 베이즈 정리로 직접, (b) Tweedie의 공식으로 구해 같음을 보여라. (c) 이 사후평균이 $x$가 클 때 1로 가는 속도를 말하라. ($x$에 대한 식으로 답한다.)

힌트

$m(x)=\frac12\varphi(x-1)+\frac12\varphi(x+1)$이고 $\varphi(x\mp1)\propto e^{\pm x}e^{-(x^2+1)/2}$이다.

풀이

(a) $P(\theta=1\mid x)=\frac{\varphi(x-1)}{\varphi(x-1)+\varphi(x+1)}=\frac{e^x}{e^x+e^{-x}}$이므로 $E(\theta\mid x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=\tanh x$이다. (b) $m(x)\propto e^{-x^2/2}(e^x+e^{-x})$이므로 $(\log m)^\prime(x)=-x+\tanh x$이고 $x+(\log m)^\prime(x)=\tanh x$로 같다. (c) $1-\tanh x=\frac{2e^{-2x}}{1+e^{-2x}}\approx2e^{-2x}$로 지수적으로 1에 다가간다. 선형 축소(정규 사전분포)와 달리 큰 관측은 거의 줄이지 않는다.

최종답 $\tanh x$

워크북 PDF풀이판 PDF답 확인