16회 · 베이즈의 귀환 · 워크북

D. 퀄형

여러 회차의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 모형과 손실을 식으로 적는 것부터 답안의 일부다.

D1 $e^{-\lambda}$e^-λ의 Bayes 추정과 UMVUE ★★★

정리 1.2, 2.1 · 11회 예제 2.2 · [T8] · 제한 35분

$X_1,\allowbreak \dots,\allowbreak X_n\mid\lambda\iid\mathrm{Poi}(\lambda)$, $\lambda\sim\Gamma(a,\allowbreak \ \text{율 }b)$이고 $T=\sum X_i$이다. 추정할 양은 $\tau=e^{-\lambda}=P(X=0)$이다.

1. (a)

   제곱손실에서 $\tau$의 Bayes 추정량이 $\Bigl(\dfrac{b+n}{b+n+1}\Bigr)^{a+T}$임을 보여라.

2. (b)

   $a=b=1$, $n=10$, $T=12$이면 그 값은?

3. (c)

   같은 자료에서 11회 예제 2.2의 UMVUE $(1-\frac1n)^T$의 값은?

4. (d)

   $n\to\infty$이면 두 추정량과 $e^{-T/n}$의 차이가 모두 $O_p(1/n)$임을 보여라.

힌트

(a) 사후분포는 $\Gamma(a+T,\ \text{율 }b+n)$이고 $E(e^{-\lambda}\mid\x)$는 그 mgf를 $-1$에서 계산한 것이다. (d) $\log(1-u)=-u+O(u^2)$와 $T/n\to\lambda$.

풀이

(a) 정리 2.1(a)로 Bayes 추정량은 $E(e^{-\lambda}\mid\x)$이고, 사후분포 $\Gamma(a+T,\ \text{율 }b+n)$에서

$$E(e^{-\lambda}\mid\x)=\int_0^\infty e^{-\lambda}\frac{(b+n)^{a+T}\lambda^{a+T-1}e^{-(b+n)\lambda}}{\Gamma(a+T)}d\lambda=\Bigl(\frac{b+n}{b+n+1}\Bigr)^{a+T}$$

이다. 마지막 등호는 율 $b+n+1$인 감마 밀도의 적분이 1이라는 것이다. (b) $(11/12)^{13}\approx0.323$. (c) $0.9^{12}\approx0.282$. MLE를 넣은 $e^{-1.2}\approx0.301$은 둘 사이에 있다. (d) $\log$ Bayes $=(a+T)\log\bigl(1-\frac1{b+n+1}\bigr)=-\frac{a+T}{b+n+1}+O_p(T/n^2)=-\frac Tn+O_p(1/n)$이다. $T/n=O_p(1)$(7회 대수의 법칙)이므로 $\frac{a+T}{b+n+1}-\frac Tn=\frac{an-bT-T}{n(b+n+1)}=O_p(1/n)$이다. UMVUE도 $T\log(1-\frac1n)=-\frac Tn+O_p(1/n)$이다. 지수함수는 유계인 구간에서 립시츠이므로 세 값의 차이도 $O_p(1/n)$이다 [T8]. 사전분포와 불편성의 차이는 $1/n$ 크기이고 표준오차 $1/\sqrt n$보다 작다.

최종답 (a) $\bigl(\tfrac{b+n}{b+n+1}\bigr)^{a+T}$ (b) $(11/12)^{13}\approx0.323$ (c) $0.9^{12}\approx0.282$

D2 가중 손실에서 MLE는 minimax다 ★★★

정리 2.1(c), 2.3 · 제한 35분

$S\sim\mathrm b(n,p)$이고 손실은 $L(p,\allowbreak a)=\dfrac{(p-a)^2}{p(1-p)}$, 사전분포는 $\mathrm U(0,1)$이다.

1. (a)

   $0<s<n$이면 Bayes 추정량이 $s/n$임을 보여라.

2. (b)

   $s=0$과 $s=n$에서도 Bayes 추정량이 $s/n$임을 보여라. (사후 기대손실이 $a\ne s/n$에서 무한함을 보인다.)

3. (c)

   $S/n$의 위험이 $p$에 무관한 상수임을 보이고 그 값을 구하라.

4. (d)

   $S/n$이 이 손실에서 minimax임을 결론짓고, 제곱손실에서는 minimax가 아니었음(A5)과 비교하라.

힌트

(a) 정리 2.1(c)에서 $w(p)=\frac1{p(1-p)}$이고 사후분포는 $\mathrm{Beta}(s+1,n-s+1)$이다. $w$를 곱하면 $\mathrm{Beta}(s,n-s)$의 핵이 된다.

풀이

(a) 사후밀도 $\propto p^s(1-p)^{n-s}$에 $w$를 곱하면 $p^{s-1}(1-p)^{n-s-1}$, 곧 $\mathrm{Beta}(s,n-s)$의 핵이다. 정리 2.1(c)의 추정량 $E(wp\mid s)/E(w\mid s)$는 이 분포의 평균 $\frac s{s+n-s}=\frac sn$이다. (b) $s=0$이면 사후 기대손실은 $(n+1)\int_0^1\frac{(p-a)^2}{p(1-p)}(1-p)^n\,dp$이다. $a>0$이면 $p\to0$에서 피적분함수가 $a^2/p$처럼 커져 적분이 무한하고, $a=0$이면 $(n+1)\int_0^1p(1-p)^{n-1}dp<\infty$이다. 따라서 Bayes 추정량은 $0=s/n$이다. $s=n$도 대칭이다. (c) $R(p,\allowbreak S/n)=\frac{E(S/n-p)^2}{p(1-p)}=\frac{p(1-p)/n}{p(1-p)}=\frac1n$. (d) Bayes 추정량의 위험이 상수이므로 정리 2.3(b)로 minimax다(Bayes 위험 $1/n$은 유한하다). 제곱손실에서는 $\delta_{\sqrt n/2,\sqrt n/2}$가 최대 위험을 더 줄였다. 손실을 끝에서 크게 매기면 끝을 잘 맞히는 MLE가 이긴다. minimax는 손실함수에 대한 주장이다.

최종답 (c) $\tfrac1n$

D3 기하분포를 목표로 한 Metropolis ★★★

알고리즘 4.4, 정리 4.5 · 제한 35분

목표는 $\pi(k)=(1-r)r^k$ ($k=0,1,2,\dots$, $0<r<1$)이고, 현재 상태 $k$에서 $k-1$과 $k+1$을 반씩 제안한다($-1$은 목표 밖이므로 늘 거절된다).

1. (a)

   $\alpha(k,k+1)$과 $\alpha(k+1,k)$를 구하라.

2. (b)

   이 연쇄가 $\pi$에 대해 상세 균형을 만족함을 직접 확인하라.

3. (c)

   $P(X_{t+1}=0\mid X_t=0)$을 $r$의 식으로 구하라.

4. (d)

   $k\ge1$에서 $P(X_{t+1}=k\mid X_t=k)$를 구하라.

5. (e)

   $0$에서 출발해 처음 1로 옮겨 가기까지 걸리는 걸음 수의 기댓값을 구하라.

힌트

위로 가는 제안은 $\pi(k+1)/\pi(k)=r<1$이라 확률 $r$로만 받아들여진다. 아래로 가는 제안은 언제나 받아들여진다.

풀이

(a) $\alpha(k,k+1)=\min\{1,r\}=r$, $\alpha(k+1,k)=\min\{1,1/r\}=1$이다. (b) $\pi(k)k(k,\allowbreak k+1)=(1-r)r^k\cdot\frac12r$, $\pi(k+1)k(k+1,\allowbreak k)=(1-r)r^{k+1}\cdot\frac12\cdot1$로 같다. 두 칸 이상 떨어진 쌍은 양쪽이 0이다. (c) $-1$ 제안(확률 $\frac12$)은 거절되고, $+1$ 제안은 확률 $1-r$로 거절된다. $\frac12+\frac12(1-r)=1-\frac r2$. (d) 아래로는 언제나 옮기므로 $+1$ 제안의 거절만 남아 $\frac12(1-r)$이다. (e) 0에서는 매 걸음 확률 $\frac r2$로 1로 옮겨 가고 아니면 0에 머문다. 걸음들은 독립이므로 처음 옮겨 가는 시점은 성공 확률 $\frac r2$인 기하분포이고 평균은 $\frac2r$이다(4회). $r=\frac12$이면 4걸음이다.

최종답 (c) $1-\tfrac r2$ (d) $\tfrac{1-r}2$ (e) $\tfrac2r$

D4 비정칙 사전분포와 $t$t 사후분포 ★★★

6회 정리 3.2, 5.2 · [T7] · 제한 40분

$X_1,\allowbreak \dots,\allowbreak X_n\mid\mu,\allowbreak \sigma^2\iid\N(\mu,\allowbreak \sigma^2)$, 사전분포는 $\pi(\mu,\allowbreak \sigma^2)\propto1/\sigma^2$이다. $\bar x$, $s^2$은 표본평균과 표본분산이다.

1. (a)

   $\sigma^2$을 적분해 $\mu$의 주변 사후밀도가 $\bigl[(n-1)s^2+n(\mu-\bar x)^2\bigr]^{-n/2}$에 비례함을 보여라.

2. (b)

   $\frac{\mu-\bar x}{s/\sqrt n}\,\Big|\,\x\sim t_{n-1}$임을 보여라.

3. (c)

   $n=10$, $\bar x=5$, $s=2$이면 95% 등꼬리 신용구간의 위 끝은? ($t_{9,0.975}=2.2622$)

4. (d)

   같은 자료에서 $P(\mu>6\mid\x)$를 구하라.

힌트

(a) $\sum(x_i-\mu)^2=(n-1)s^2+n(\bar x-\mu)^2$을 쓰고 $u=1/\sigma^2$로 바꾸면 감마 적분이 된다. (b) 6회 정리 3.2의 $t$ 밀도의 핵 $(1+t^2/\nu)^{-(\nu+1)/2}$과 맞춘다.

풀이

(a) $A=(n-1)s^2+n(\mu-\bar x)^2$로 두면 결합 사후밀도는 $(\sigma^2)^{-1}(\sigma^2)^{-n/2}e^{-A/(2\sigma^2)}$에 비례한다. $u=1/\sigma^2$, $d\sigma^2=u^{-2}du$로 바꾸면 $\int_0^\infty u^{n/2-1}e^{-Au/2}du=\Gamma(n/2)(2/A)^{n/2}\propto A^{-n/2}$이다 [T7]. (b) $t=\frac{\mu-\bar x}{s/\sqrt n}$이면 $A=(n-1)s^2\bigl(1+\frac{t^2}{n-1}\bigr)$이므로 밀도는 $\bigl(1+\frac{t^2}{n-1}\bigr)^{-n/2}$에 비례하고, 이것은 자유도 $\nu=n-1$의 $t$ 밀도의 핵이다(6회 정리 3.2). $\mu\mapsto t$는 일차변환이라 야코비안은 상수다. (c) $5+2.2622\cdot\frac2{\sqrt{10}}\approx6.431$이다. 6회 정리 5.2의 $t$-구간과 숫자까지 같다. (d) $t=\frac{6-5}{2/\sqrt{10}}=1.581$이므로 $P(t_9>1.581)\approx0.074$이다. 빈도주의의 한쪽 유의확률과 같은 숫자지만, 여기서는 $\mu$에 대한 확률로 읽는다.

최종답 (c) $6.431$ (d) $0.074$

워크북 PDF풀이판 PDF답 확인