16회 · 베이즈의 귀환 · 워크북

A. 계산 드릴

정의와 공식을 손으로 돌린다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 사후분포는 먼저 핵을 알아보고, 적분은 마지막에 한다.

A1 베타–이항의 사후분포 ★

정리 1.2 · 8분

$p\sim\mathrm{Beta}(2,3)$이고 $S\mid p\sim\mathrm b(10,p)$에서 $s=7$을 관측했다. (a) 사후평균, (b) 사후 최빈값(MAP), (c) 사후분산을 구하라. 사후평균이 사전평균과 표본비율 사이에 있음을 확인하라.

힌트

사후분포는 $\mathrm{Beta}(2+7,\ 3+3)$이다. $\mathrm{Beta}(a,b)$의 평균은 $\frac a{a+b}$, 최빈값은 $\frac{a-1}{a+b-2}$, 분산은 $\frac{ab}{(a+b)^2(a+b+1)}$이다.

풀이

정리 1.2(a)로 사후분포는 $\mathrm{Beta}(9,6)$이다. (a) $\frac9{15}=\frac35$. (b) 밀도 $p^8(1-p)^5$의 로그를 미분해 0으로 두면 $\frac8p=\frac5{1-p}$, 곧 $p=\frac8{13}$이다. (c) $\frac{9\cdot6}{15^2\cdot16}=\frac{54}{3600}=\frac3{200}$. 사전평균은 $\frac25$, 표본비율은 $\frac7{10}$이고 사후평균은 $\frac5{15}\cdot\frac25+\frac{10}{15}\cdot\frac7{10}=\frac{2+7}{15}=\frac35$로 둘의 가중평균이다(노트 연습 1.1).

최종답 (a) $\tfrac35$ (b) $\tfrac8{13}$ (c) $\tfrac3{200}$

A2 감마–Poisson과 예측 ★

정리 1.2 · 8분

$\lambda\sim\Gamma(2,\allowbreak \ \text{율 }1)$이고 $X_1,\allowbreak \dots,\allowbreak X_5\mid\lambda\iid\mathrm{Poi}(\lambda)$에서 $3,1,4,0,2$를 관측했다. (a) $\lambda$의 사후평균, (b) 다음 관측이 0일 사후예측확률 $P(X_6=0\mid\x)$를 구하라. MLE를 넣은 $e^{-\hat\lambda}$와 비교하라.

힌트

사후분포는 $\Gamma(2+10,\ \text{율 }1+5)$이다. (b)는 $E(e^{-\lambda}\mid\x)$이고, 감마 밀도의 적분으로 계산한다.

풀이

정리 1.2(b)로 사후분포는 $\Gamma(12,\ \text{율 }6)$이다. (a) $12/6=2$. (b) $P(X_6=0\mid\x)=E(e^{-\lambda}\mid\x)=\int_0^\infty e^{-\lambda}\frac{6^{12}\lambda^{11}e^{-6\lambda}}{\Gamma(12)}d\lambda=\frac{6^{12}}{7^{12}}=(6/7)^{12}\approx0.157$이다. 마지막 등호는 $\Gamma(12,\ \text{율 }7)$의 밀도가 적분하면 1이라는 것이다. MLE $\hat\lambda=2$를 넣으면 $e^{-2}\approx0.135$로 더 작다. 사후예측은 $\lambda$의 불확실성까지 평균하므로, 볼록함수 $e^{-\lambda}$의 평균이 평균에서의 값보다 크다(2회 Jensen).

최종답 (a) $2$ (b) $(6/7)^{12}\approx0.157$

A3 정규–정규의 축소 ★

정리 1.2(c) · 8분

$\mu\sim\N(0,4)$이고 $X_1,\allowbreak \dots,\allowbreak X_4\mid\mu\iid\N(\mu,\allowbreak 1)$에서 $\bar x=2.5$를 관측했다. (a) 사후평균, (b) 사후분산을 구하라. $\bar x$에 주는 무게는 얼마인가?

힌트

정밀도를 더한다. 자료의 정밀도는 $n/\sigma^2=4$, 사전분포의 정밀도는 $1/\tau^2=\frac14$이다.

풀이

정밀도는 $4+\frac14=\frac{17}4$이다. (a) $\frac{4\cdot2.5+\frac14\cdot0}{17/4}=\frac{40}{17}\approx2.353$. (b) $\frac4{17}$. $\bar x$의 무게는 $\frac{4}{17/4}=\frac{16}{17}$이므로 $\bar x$를 0 쪽으로 $\frac1{17}$만큼 줄인다.

최종답 (a) $\tfrac{40}{17}\approx2.353$ (b) $\tfrac4{17}$

A4 손실마다 다른 Bayes 추정량 ★★

정리 2.1 · 10분

사후밀도가 $\pi(\theta\mid\x)=2\theta$ ($0<\theta<1$)이다. 다음 손실의 Bayes 추정량을 구하라. (a) 제곱손실, (b) 절대손실, (c) 0–1 손실에서 $\epsilon\to0$의 극한(MAP), (d) 가중 제곱손실 $L=(\theta-a)^2/\theta$.

힌트

(b) 사후분포함수 $\theta^2$이 $\frac12$이 되는 점. (d) 정리 2.1(c)에서 $w(\theta)=1/\theta$이다.

풀이

(a) $\int_0^1\theta\cdot2\theta\,d\theta=\frac23$. (b) $\int_0^m2\theta\,d\theta=m^2=\frac12$에서 $m=1/\sqrt2\approx0.707$. (c) 밀도 $2\theta$는 증가하므로 최빈값은 오른쪽 끝 1이다. (d) $E(w\theta\mid\x)=\int_0^1\frac1\theta\,\theta\cdot2\theta\,d\theta=1$, $E(w\mid\x)=\int_0^1\frac1\theta\cdot2\theta\,d\theta=2$이므로 $\frac12$이다. 같은 사후분포에서 손실에 따라 $0.5$에서 $1$까지 다른 답이 나온다.

최종답 (a) $\tfrac23$ (b) $1/\sqrt2\approx0.707$ (c) $1$ (d) $\tfrac12$

A5 상수 위험의 Bayes 추정량 ★★

예제 2.2, 정리 2.3 · 10분

$S\sim\mathrm b(16,p)$이고 $\mathrm{Beta}(2,2)$ 사전분포의 사후평균 $\delta=\frac{S+2}{20}$을 쓴다. (a) $\delta$의 위험이 $p$에 무관함을 보이고 그 값을 구하라. (b) MLE $S/16$의 위험의 최댓값을 구하라. (c) MLE의 위험이 $\delta$보다 작은 $p$의 범위는 $p<p_0$ 또는 $p>1-p_0$이다. $p_0$을 구하라.

힌트

예제 2.2의 위험 공식에 $n=16$, $a=b=2=\sqrt n/2$를 넣는다. (c)는 $p(1-p)/16$과 (a)의 값을 같게 놓는다.

풀이

(a) 예제 2.2의 공식에서 분자는 $16p(1-p)+(2-4p)^2=16p-16p^2+4-16p+16p^2=4$이고 분모는 $20^2=400$이므로 $R=\frac4{400}=\frac1{100}$이다. (b) $p(1-p)/16$은 $p=\frac12$에서 최대 $\frac1{64}$이다. (c) $\frac{p(1-p)}{16}<\frac1{100}\iff p^2-p+0.16>0\iff p<0.2$ 또는 $p>0.8$이므로 $p_0=\frac15$이다. 정리 2.3(b)로 $\delta$는 minimax이고, 최대 위험이 $\frac1{64}$에서 $\frac1{100}$로 줄어드는 대신 끝 근처에서는 MLE에 진다.

최종답 (a) $\tfrac1{100}$ (b) $\tfrac1{64}$ (c) $p<0.2\text{ 또는 }p>0.8$

A6 지수분포의 Jeffreys 사전분포 ★★

정의 2.5, 정리 2.6 · [T7] · 10분

$f(x\mid\theta)=\theta e^{-\theta x}$ ($x>0$)이다. (a) Jeffreys 사전분포가 $\theta^k$에 비례할 때 $k$를 구하라. (b) 관측 5개의 합이 8이면 이 사전분포에서 $\theta$의 사후평균은? (c) 평균 $\mu=1/\theta$로 모수를 바꿔 Jeffreys 사전분포를 $\mu$에서 직접 만들면 $\mu^k$의 $k$는? 정리 2.6의 결론과 맞는지 변수변환으로 확인하라.

힌트

점수는 $1/\theta-x$이고 그 분산이 정보다. (b)의 사후밀도는 $\theta^{-1}\cdot\theta^5e^{-8\theta}$에 비례한다.

풀이

(a) 점수 $\frac{\partial}{\partial\theta}\log f=\frac1\theta-x$의 분산은 $\Var X=\frac1{\theta^2}$이므로 $I(\theta)=\theta^{-2}$, $\pi_J\propto\theta^{-1}$, $k=-1$이다. (b) 사후밀도 $\propto\theta^4e^{-8\theta}$는 $\Gamma(5,\ \text{율 }8)$이므로 평균은 $\frac58$이다. MLE $5/8$과 같다. (c) $f=\frac1\mu e^{-x/\mu}$의 점수는 $-\frac1\mu+\frac x{\mu^2}$이고 분산은 $\frac{\Var X}{\mu^4}=\frac1{\mu^2}$이므로 $\pi_J\propto\mu^{-1}$, $k=-1$이다. 변수변환으로는 $\theta=1/\mu$, $|d\theta/d\mu|=\mu^{-2}$이므로 $\theta^{-1}|d\theta/d\mu|=\mu\cdot\mu^{-2}=\mu^{-1}$로 같다.

최종답 (a) $k=-1$ (b) $\tfrac58$ (c) $k=-1$

A7 이항의 Bayes 인수 ★

정의 3.1, 명제 3.2 · 8분

10번 가운데 8번 성공했다. $H_0:p=\frac12$, $H_1:p\sim\mathrm U(0,1)$이다. (a) $B_{10}$, (b) 증거의 무게(deciban), (c) 두 가설에 사전확률을 반씩 줄 때 $P(H_0\mid\x)$를 구하라. 정확한 양측 유의확률 $2P(S\ge8)$과 비교하라.

힌트

$m_1=\int_0^1\binom{10}8p^8(1-p)^2dp=\frac1{11}$ (균등 사전분포의 주변 가능도는 모든 $s$에서 $\frac1{n+1}$이다).

풀이

$m_0=\binom{10}8 2^{-10}=\frac{45}{1024}$, $m_1=\binom{10}8B(9,\allowbreak 3)=45\cdot\frac{8!\,2!}{11!}=\frac1{11}$이다. (a) $B_{10}=\frac{1/11}{45/1024}=\frac{1024}{495}\approx2.07$. (b) $10\log_{10}2.07\approx3.16$ deciban. (c) $P(H_0\mid\x)=\frac1{1+B_{10}}=\frac{495}{1519}\approx0.326$. 유의확률은 $2\cdot\frac{45+10+1}{1024}=0.109$이다. 둘 다 $H_0$을 기각할 근거가 약하다고 말하지만, 사후확률 0.33은 유의확률 0.11보다 $H_0$에 훨씬 우호적이다.

최종답 (a) $\tfrac{1024}{495}\approx2.07$ (b) $3.16$ (c) $\tfrac{495}{1519}\approx0.326$

A8 세 단서 ★

명제 3.2 · 6분

서로 독립인 세 단서의 무게가 5, 10, 20 deciban이다. 사전 오즈가 $1:100$이다. (a) 합친 무게를 구하라. (b) 사후확률을 구하라.

힌트

사전 오즈 $1:100$은 $-20$ deciban이다. 무게는 더해진다(명제 3.2(b)).

풀이

(a) $5+10+20=35$ deciban, 곧 가능도비 $10^{3.5}\approx3162$. (b) 사후 오즈는 $-20+35=15$ deciban, 곧 $10^{1.5}\approx31.6$이고 사후확률은 $\frac{31.6}{32.6}\approx0.969$이다.

최종답 (a) $35$ (b) $0.969$

A9 세 상태 연쇄의 정상분포 ★

정의 4.1, 4.2 · 6분

상태 $\{1,2,3\}$의 전이행렬이 다음과 같다. (a) $\pi_1$, (b) $\pi_2$를 구하고, 상세 균형이 성립함을 확인하라.

$$P=\begin{pmatrix}1/2&1/2&0\\1/4&1/2&1/4\\0&1/2&1/2\end{pmatrix}$$

힌트

이웃한 상태 사이에서만 움직이므로 상세 균형 $\pi_1P_{12}=\pi_2P_{21}$, $\pi_2P_{23}=\pi_3P_{32}$부터 푼다.

풀이

$\pi_1\cdot\frac12=\pi_2\cdot\frac14$에서 $\pi_2=2\pi_1$, $\pi_2\cdot\frac14=\pi_3\cdot\frac12$에서 $\pi_3=\pi_1$이다. 합이 1이므로 $\pi=(\frac14,\frac12,\frac14)$이다. 상세 균형을 만족하는 $\pi$는 정리 4.3으로 정상분포다. 직접 확인하면 $\pi P=(\frac18+\frac18,\allowbreak \ \frac18+\frac14+\frac18,\allowbreak \ \frac18+\frac18)=(\frac14,\allowbreak \frac12,\allowbreak \frac14)$이다.

최종답 (a) $\tfrac14$ (b) $\tfrac12$

A10 받아들임 확률 손 계산 ★

알고리즘 4.4 · 8분

목표가 $\pi(x)\propto x^2e^{-x}$ ($x>0$)이다. (a) 대칭 제안으로 $x=2$에서 $y=3$이 제안될 때, (b) $y=1$이 제안될 때의 받아들임 확률을 구하라. (c) 독립 제안 $g(y)=e^{-y}$를 쓸 때 $x=2$에서 $y=1$이 제안되면 받아들임 확률은?

힌트

정규화 상수는 비에서 지워진다. (c)는 노트 연습 4.3의 $w=\pi/g$를 쓴다.

풀이

(a) $\min\bigl\{1,\allowbreak \frac{9e^{-3}}{4e^{-2}}\bigr\}=\frac9{4e}\approx0.828$. (b) $\min\bigl\{1,\allowbreak \frac{1\cdot e^{-1}}{4e^{-2}}\bigr\}=\frac e4\approx0.680$. (c) $w(x)=\pi(x)/g(x)\propto x^2$이므로 $\min\{1,w(1)/w(2)\}=\frac14$이다. 독립 제안은 목표의 $x^2$ 인수 때문에 작은 값으로 가는 것을 더 자주 거절한다.

최종답 (a) $\tfrac9{4e}\approx0.828$ (b) $\tfrac e4\approx0.680$ (c) $\tfrac14$

A11 2×2 표의 Gibbs ★★

알고리즘 4.6, 정리 4.7 · 10분

$(X,Y)\in\{0,1\}^2$의 결합확률이 $p(0,0)=0.4$, $p(0,1)=0.1$, $p(1,0)=0.2$, $p(1,1)=0.3$이다. 한 바퀴는 $Y\sim p(y\mid X)$, 이어서 $X^\prime\sim p(x\mid Y)$다. (a) $P(X^\prime=1\mid X=0)$, (b) $P(X^\prime=1\mid X=1)$, (c) $X$열의 정상분포에서 $P(X=1)$을 구하라. $X$의 주변분포와 비교하라.

힌트

$P(X^\prime=1\mid X=x)=\sum_yp(y\mid x)\,p(X=1\mid y)$. $p(X=1\mid Y=0)=0.2/0.6$이다.

풀이

조건부확률은 $p(Y=0\mid X=0)=0.8$, $p(Y=0\mid X=1)=0.4$, $p(X=1\mid Y=0)=\frac13$, $p(X=1\mid Y=1)=\frac34$이다. (a) $0.8\cdot\frac13+0.2\cdot\frac34=\frac{16}{60}+\frac9{60}=\frac5{12}$. (b) $0.4\cdot\frac13+0.6\cdot\frac34=\frac8{60}+\frac{27}{60}=\frac7{12}$. (c) $\pi_1=\pi_0\cdot\frac5{12}+\pi_1\cdot\frac7{12}$에서 $\pi_0=\pi_1=\frac12$이다. $X$의 주변분포도 $P(X=1)=0.2+0.3=\frac12$로 같다(정리 4.7).

최종답 (a) $\tfrac5{12}$ (b) $\tfrac7{12}$ (c) $\tfrac12$

A12 Stein의 보조정리로 넷째 적률 ★

보조정리 5.1 · 8분

$Z\sim\N(\theta,1)$이다. 보조정리 5.1을 $g(z)=z^3$에 써서 $EZ^4$을 $\theta$의 식으로 나타내라. $EZ^2=\theta^2+1$, $EZ^3=\theta^3+3\theta$는 써도 된다(노트 연습 5.2).

힌트

$E[(Z-\theta)Z^3]=E[3Z^2]$이므로 $EZ^4=\theta EZ^3+3EZ^2$이다.

풀이

보조정리로 $EZ^4-\theta EZ^3=3EZ^2$이므로 $EZ^4=\theta(\theta^3+3\theta)+3(\theta^2+1)=\theta^4+6\theta^2+3$이다. $\theta=0$이면 $3$으로 표준정규의 넷째 적률이다.

최종답 $\theta^4+6\theta^2+3$

A13 James–Stein 손 계산 ★

정리 5.2 · 8분

$p=5$이고 $\X=(1,-2,0.5,1.5,-1)$이다. (a) 축소 인자 $1-\frac{p-2}{\|\X\|^2}$, (b) $\delta_{\mathrm{JS}}$의 둘째 성분을 구하라. (c) $\btheta=\bzero$에서 $\delta_{\mathrm{JS}}$의 위험은?

힌트

(c) $\btheta=\bzero$이면 $\|\X\|^2\sim\chi^2_5$이고 $E[1/\chi^2_p]=1/(p-2)$이다.

풀이

$\|\X\|^2=1+4+0.25+2.25+1=8.5$이다. (a) $1-\frac3{8.5}=\frac{11}{17}$. (b) $\frac{11}{17}\cdot(-2)=-\frac{22}{17}\approx-1.29$. (c) $5-3^2\cdot\frac13=2$로 $\X$의 위험 5보다 작다.

최종답 (a) $\tfrac{11}{17}$ (b) $-\tfrac{22}{17}$ (c) $2$

A14 경험적 Bayes의 숫자 ★

정리 5.4 · 8분

$\theta_i\iid\N(0,\tau^2)$, $X_i\mid\theta_i\sim\N(\theta_i,\allowbreak 1)$, $p=10$이고 $\|\X\|^2=40$을 관측했다. (a) $B=\frac1{1+\tau^2}$의 불편추정값 $\frac{p-2}{\|\X\|^2}$, (b) 그 값에 해당하는 $\tau^2$, (c) 참값이 $\tau^2=4$일 때 $\delta_{\mathrm{JS}}$의 Bayes 위험을 구하라. Bayes 추정량의 Bayes 위험과 비교하라.

힌트

(c) 정리 5.4(c)의 $p(1-B)+2B$.

풀이

(a) $\frac8{40}=\frac15$. (b) $\frac1{1+\tau^2}=\frac15$에서 $\tau^2=4$. (c) $B=\frac15$이므로 $10\cdot\frac45+2\cdot\frac15=8.4$이다. Bayes 추정량의 위험 $p(1-B)=8$보다 $0.4$만 크고, $\X$의 위험 10보다 작다. $\tau^2$을 몰라 치르는 값이 $2B=0.4$다.

최종답 (a) $\hat B=\tfrac15$ (b) $\hat\tau^2=4$ (c) $8.4$

워크북 PDF풀이판 PDF답 확인