10회 · 숨은 변수와 EM · 워크북

A. 계산 드릴

정의와 공식을 손으로 돌린다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 계산기는 마지막 수치 계산에만 쓴다.

A1 정규의 정보 행렬 ★

정의 1.1, 정리 1.2 · 6분

$X\sim\N(\mu,\sigma^2)$를 모수 $(\mu,v)$, $v=\sigma^2$로 둔다. 정리 1.2의 둘째 표현으로 정보 행렬을 구하라. (a) $v=4$에서 $I_{vv}$를 구하라. (b) $n=50$이면 $\hat v$의 점근분산 $(I^{-1})_{vv}/n$은 얼마인가?

힌트

$\log f=-\tfrac12\log(2\pi v)-\tfrac{(x-\mu)^2}{2v}$를 두 번 미분한다. $E(X-\mu)=0$, $E(X-\mu)^2=v$.

풀이

이차 미분은 $\partial_\mu^2=-\tfrac1v$, $\partial_\mu\partial_v=-\tfrac{x-\mu}{v^2}$, $\partial_v^2=\tfrac1{2v^2}-\tfrac{(x-\mu)^2}{v^3}$이다. 기댓값에 음수를 붙이면 $I=\diag\bigl(\tfrac1v,\allowbreak \ \tfrac1{2v^2}\bigr)$이다. (a) $v=4$이면 $I_{vv}=\tfrac1{32}$. (b) $I$가 대각이므로 $(I^{-1})_{vv}=2v^2=32$이고 $32/50=\tfrac{16}{25}=0.64$이다. $\mu$와 $v$는 직교하므로 $\mu$를 알든 모르든 이 값은 같다.

최종답 (a) $\tfrac1{32}$ (b) $\tfrac{16}{25}=0.64$

A2 로짓 모수의 정보 ★

정리 1.2 · 6분

$X\sim$ Bernoulli$(p)$를 로짓 $\eta=\log\frac p{1-p}$로 모수화한다. $I(\eta)=p(1-p)$임을 보이고, $p=0.2$, $n=100$일 때 $\hat\eta$의 점근분산 $1/(nI(\eta))$을 구하라.

힌트

$\log f=x\eta-\log(1+e^\eta)$이다. 점수는 $x-p$이다.

풀이

$p=\tfrac{e^\eta}{1+e^\eta}$이므로 $\log f(x;\eta)=x\log p+(1-x)\log(1-p)=x\eta-\log(1+e^\eta)$이다. 점수는 $x-\tfrac{e^\eta}{1+e^\eta}=x-p$이고 $I(\eta)=\Var X=p(1-p)$이다. 둘째 표현으로도 $-\partial_\eta^2\log f=\tfrac{e^\eta}{(1+e^\eta)^2}=p(1-p)$이다. $p=0.2$이면 $I=0.16$이고 점근분산은 $\tfrac1{100\cdot0.16}=\tfrac1{16}$이다.

최종답 $\tfrac1{16}$

A3 두 모수의 Schur 보수 ★

보조정리 1.5, 정리 1.6 · 8분

정보 행렬이 $I=\smat{4&2\\2&3}$이고 첫 성분 $\psi$가 관심 모수, 둘째 성분 $\lambda$가 귀찮은 모수다. (a) $I^{\psi\psi}$, (b) $I_{\psi\psi}^{-1}$, (c) 둘의 비 $I^{\psi\psi}/I_{\psi\psi}^{-1}$를 구하라. (c)는 무엇을 뜻하는가?

힌트

$I^{\psi\psi}=(I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi})^{-1}$. $2\times2$ 역행렬의 공식으로도 확인한다.

풀이

(a) Schur 보수는 $4-2\cdot\tfrac13\cdot2=\tfrac83$이므로 $I^{\psi\psi}=\tfrac38$이다. $2\times2$ 역행렬로도 $\tfrac{3}{4\cdot3-2^2}=\tfrac38$이다. (b) $\tfrac14$. (c) $\tfrac{3/8}{1/4}=\tfrac32$이다. $\lambda$를 모르면 $\hat\psi$의 점근분산이 $\lambda$를 알 때의 1.5배다(정리 1.6).

최종답 (a) $\tfrac38$ (b) $\tfrac14$ (c) $\tfrac32$

A4 귀찮은 모수가 둘 ★★

보조정리 1.5 · 10분

정보 행렬이 다음과 같고 첫 성분이 관심 모수 $\psi$, 나머지 둘이 귀찮은 모수다.

$$I=\begin{pmatrix}5&1&2\\1&2&0\\2&0&4\end{pmatrix}$$

(a) Schur 보수 $S=I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}$를 구하라. (b) $I^{\psi\psi}$를 구하라. (c) 귀찮은 모수를 알 때보다 점근분산이 몇 배인가?

힌트

$I_{\lambda\lambda}=\diag(2,4)$이므로 역행렬이 쉽다. $I_{\psi\lambda}=(1,2)$.

풀이

(a) $I_{\lambda\lambda}^{-1}=\diag(\tfrac12,\allowbreak \tfrac14)$이므로 $I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}=\tfrac{1^2}2+\tfrac{2^2}4=\tfrac32$이고 $S=5-\tfrac32=\tfrac72$이다. (b) 보조정리 1.5로 $I^{\psi\psi}=S^{-1}=\tfrac27$이다. 3×3 역행렬의 (1,1) 여인수 $\tfrac{2\cdot4-0}{\det I}=\tfrac8{28}$로도 같다($\det I=5\cdot8-1\cdot4+2\cdot(0-4)=28$). (c) $I_{\psi\psi}^{-1}=\tfrac15$이므로 $\tfrac{2/7}{1/5}=\tfrac{10}7$배다.

최종답 (a) $\tfrac72$ (b) $\tfrac27$ (c) $\tfrac{10}7$

A5 정규 분위수의 점근분산 ★★

따름정리 1.4(b) · 10분

$X_i\iid\N(\mu,v)$, $v=\sigma^2$에서 분위수 $g=\mu+z\sigma$ ($z$는 상수)의 MLE $\hat\mu+z\hat\sigma$를 생각한다. 따름정리 1.4(b)로 $\sqrt n(\hat g-g)$의 점근분산을 $v$와 $z$의 식으로 구하라. (check()에는 기호 v와 z로 넣는다.)

힌트

A1의 $I^{-1}=\diag(v,2v^2)$와 $\nabla g=\bigl(1,\allowbreak \ \tfrac z{2\sqrt v}\bigr)$.

풀이

$g=\mu+z\sqrt v$이므로 $\nabla g=\bigl(1,\allowbreak \tfrac z{2\sqrt v}\bigr)$이고, A1에서 $I^{-1}=\diag(v,2v^2)$이다. 점근분산은 $\nabla g\T I^{-1}\nabla g=v+\tfrac{z^2}{4v}\cdot2v^2=v\bigl(1+\tfrac{z^2}2\bigr)$이다. $z=0$이면 평균의 분산 $v$이고, 분위수가 꼬리로 갈수록 $\hat\sigma$의 불확실성이 더해진다.

최종답 $v\bigl(1+\tfrac{z^2}2\bigr)$

A6 분산의 프로파일 가능도비 ★★

정의 1.7, 정리 1.8 · 10분

정규 표본 $n=20$에서 $\hat v=\frac1n\sum(x_i-\bar x)^2=1.5$이다. $\mu$를 귀찮은 모수로 두고 $H_0:v=1$의 프로파일 가능도비 $\Lambda=2[\ell(\hat{\boldsymbol\theta})-\ell_p(1)]$를 구하라. $\chi^2(1)$의 5% 임계값 3.84와 비교하라.

힌트

$v$를 고정해도 $\mu$의 MLE는 $\bar x$이다. 그러면 $\ell_p(v)=-\tfrac n2\log(2\pi v)-\tfrac{n\hat v}{2v}$이다.

풀이

$v$를 고정하면 $\sum(x_i-\mu)^2$을 최소화하는 $\mu$는 $\bar x$이므로 $\ell_p(v)=-\tfrac n2\log(2\pi v)-\tfrac{n\hat v}{2v}$이다. $\ell_p$의 최대점은 $\hat v$이고

$$\Lambda=2[\ell_p(\hat v)-\ell_p(1)]=n\Bigl[\frac{\hat v}{1}-1-\log\frac{\hat v}{1}\Bigr]=20\bigl(0.5-\log1.5\bigr)=10-20\log\tfrac32\approx1.891 .$$

3.84보다 작으므로 5% 수준에서 $H_0$를 기각하지 않는다.

최종답 $10-20\log\tfrac32\approx1.891$

A7 다른 유전 연관 자료 ★★

예제 2.3, 알고리즘 3.1 · 12분

노트 예제 2.3과 같은 모형(범주 확률 $\tfrac12+\tfrac\theta4,\allowbreak \ \tfrac{1-\theta}4,\allowbreak \ \tfrac{1-\theta}4,\allowbreak \ \tfrac\theta4$)에서 3,839개체가 $\y=(1997,\ 906,\ 904,\ 32)$로 나뉘었다. (a) $\theta_0=\tfrac1{20}$에서 EM을 한 번 돌린 $\theta_1$을 분수로 구하라. (b) 가능도 방정식을 이차방정식으로 바꿔 MLE를 구하라.

힌트

(a) E 단계는 $x_2=1997\cdot\tfrac{\theta_0}{2+\theta_0}$, M 단계는 $\theta_1=\tfrac{x_2+32}{x_2+32+906+904}$. (b) 점수에 $\theta(2+\theta)(1-\theta)$를 곱한다.

풀이

(a) $x_2=1997\cdot\tfrac{1/20}{41/20}=\tfrac{1997}{41}\approx48.71$이고 $\theta_1=\tfrac{1997/41+32}{1997/41+1842}=\tfrac{1997+1312}{1997+75522}=\tfrac{3309}{77519}\approx0.04269$이다.

(b) 점수 $\tfrac{1997}{2+\theta}-\tfrac{1810}{1-\theta}+\tfrac{32}\theta=0$에 $\theta(2+\theta)(1-\theta)$를 곱하면 $1997\theta(1-\theta)-1810\theta(2+\theta)+32(2+\theta)(1-\theta)=0$, 곧 $3839\theta^2+1655\theta-64=0$이다. 양의 근은 $\hat\theta=\tfrac{-1655+\sqrt{3721809}}{7678}\approx0.03571$이다.

최종답 (a) $\tfrac{3309}{77519}\approx0.04269$ (b) $\tfrac{-1655+\sqrt{3721809}}{7678}\approx0.03571$

A8 잃어버린 정보의 비율 ★★

정리 3.5, 3.6 · 12분

A7의 자료에서 $\hat\theta=0.03571$일 때 Louis 공식으로 $I_m$과 $I_c$를 구하고 EM의 수렴 비율 $I_m/I_c$를 구하라. 노트 예제 3.7의 비율 0.1328보다 큰 이유를 설명하라.

힌트

$q=\hat\theta/(2+\hat\theta)$로 두면 $x_2\mid\y\sim\mathrm b(1997,\allowbreak q)$, $I_m=\Var(x_2\mid\y)/\hat\theta^2$, $I_c=\tfrac{E[x_2\mid\y]+32}{\hat\theta^2}+\tfrac{1810}{(1-\hat\theta)^2}$.

풀이

$q=\tfrac{0.03571}{2.03571}=0.01754$이므로 $E[x_2\mid\y]=1997q=35.03$, $\Var(x_2\mid\y)=1997q(1-q)=34.42$이다. 완전 자료 로그가능도 $(x_2+32)\log\theta+1810\log(1-\theta)$의 점수는 $\tfrac{x_2+32}\theta-\tfrac{1810}{1-\theta}$이므로 Louis 공식으로 $I_m=\Var(x_2\mid\y)/\hat\theta^2=26987$이고 $I_c=\tfrac{35.03+32}{\hat\theta^2}+\tfrac{1810}{(1-\hat\theta)^2}=54506$이다. 비율은 $0.4951$이고 관측 정보는 $J=I_c-I_m=27519$, 표준오차는 $1/\sqrt J=0.0060$이다. $\theta$가 작으면 $\theta$를 직접 알려 주는 칸이 “$\tfrac\theta4$”의 작은 칸들뿐이고, 그 가운데 큰 몫($x_2$)이 첫 범주 안에 숨어 있다. 그래서 정보의 절반 가까이를 잃는다.

최종답 $0.4951$

A9 빠진 관측이 있는 정규 평균 ★

알고리즘 3.1, 정리 3.6 · 8분

$X_1,\dots,X_{20}\iid\N(\mu,1)$을 계획했는데 15개만 관측했고 그 평균이 3이다. 빠진 5개를 숨은 자료로 보고 EM을 돌린다. E 단계는 빠진 값을 지금의 $\mu_t$로 채우고, M 단계는 채운 20개의 평균을 구한다. (a) $\mu_0=0$에서 $\mu_1$, (b) $\mu_2$를 구하라. (c) 수렴 비율은 얼마인가?

힌트

$\mu_{t+1}=\tfrac{15\cdot3+5\mu_t}{20}$. 이 사상의 고정점과 기울기를 본다.

풀이

$\mu_{t+1}=\tfrac{45+5\mu_t}{20}$이다. (a) $\mu_1=\tfrac{45}{20}=\tfrac94$. (b) $\mu_2=\tfrac{45+5\cdot9/4}{20}=\tfrac{45}{16}$. (c) 사상의 기울기는 $\tfrac5{20}=\tfrac14$이고 고정점은 관측 평균 3이다. 빠진 비율이 곧 잃어버린 정보의 비율이다($I_c=20$, $J=15$).

최종답 (a) $\tfrac94$ (b) $\tfrac{45}{16}$ (c) $\tfrac14$

A10 책임 하나 ★

명제 4.1 · 6분

$0.4\,\N(0,1)+0.6\,\N(3,1)$에서 관측 $y=1.2$가 첫 성분에서 왔을 책임 $r_1$을 구하라.

힌트

분자와 분모를 첫 항으로 나누면 $r_1=\bigl(1+\tfrac{0.6}{0.4}e^{-[(y-3)^2-y^2]/2}\bigr)^{-1}$.

풀이

$r_1=\tfrac{0.4\varphi(1.2)}{0.4\varphi(1.2)+0.6\varphi(1.2-3)}=\bigl(1+1.5\,e^{-[(1.8)^2-(1.2)^2]/2}\bigr)^{-1}=\bigl(1+1.5e^{-0.9}\bigr)^{-1}\approx0.621$이다. $y=1.2$는 첫 평균에 더 가깝지만 둘째 성분의 비율이 커서 책임은 0.62에 그친다.

최종답 $\bigl(1+1.5e^{-0.9}\bigr)^{-1}\approx0.621$

A11 M 단계 한 번 ★

명제 4.1 · 8분

관측 $y=(0,1,3,4)$의 첫 성분 책임이 $r_{i1}=(0.9,\allowbreak \ 0.8,\allowbreak \ 0.2,\allowbreak \ 0.1)$이다. M 단계의 (a) $\pi_1$, (b) $\mu_1$, (c) $\sigma_1^2$을 구하라.

힌트

$n_1=\sum r_{i1}$. $\sigma_1^2$에는 새 $\mu_1$을 쓴다.

풀이

$n_1=2.0$이므로 (a) $\pi_1=\tfrac24=\tfrac12$. (b) $\mu_1=\tfrac{0+0.8+0.6+0.4}{2}=0.9$. (c) $\sigma_1^2=\tfrac{0.9\cdot0.81+0.8\cdot0.01+0.2\cdot4.41+0.1\cdot9.61}{2}=\tfrac{2.58}2=1.29$.

최종답 (a) $\tfrac12$ (b) $0.9$ (c) $1.29$

A12 $k$k-평균 한 바퀴 ★

명제 8.1 · 8분

점 $1,2,6,7,8$과 두 중심 $2,6$에서 $k$-평균을 한 바퀴 돌린다. (a) 배정 뒤의 $W=\sum_i(y_i-c_{c(i)})^2$ (중심은 아직 $2,6$), (b) 새 첫째 중심, (c) 새 둘째 중심, (d) 새 중심에서의 $W$를 구하라.

힌트

6은 둘째 중심에 정확히 놓여 있다. 배정은 $\{1,2\}$와 $\{6,7,8\}$이다.

풀이

배정은 $\{1,2\}\to2$, $\{6,7,8\}\to6$이다. (a) $W=1+0+0+1+4=6$. (b) $\tfrac32$. (c) $7$. (d) $W=\tfrac14+\tfrac14+1+0+1=\tfrac52$. 다시 배정해도 바뀌지 않으므로 여기서 멈춘다. 두 단계가 모두 $W$를 늘리지 않는다(노트 연습 8.2).

최종답 (a) $6$ (b) $\tfrac32$ (c) $7$ (d) $\tfrac52$

A13 KL 발산의 비대칭 ★

명제 3.3 · 6분

$D\bigl(\N(\mu_1,\allowbreak s_1^2)\,\|\,\N(\mu_2,\allowbreak s_2^2)\bigr)=\log\frac{s_2}{s_1}+\frac{s_1^2+(\mu_1-\mu_2)^2}{2s_2^2}-\frac12$이다(5회 명제 6.2의 1차원판). (a) $D\bigl(\N(1,\allowbreak 4)\,\|\,\N(0,\allowbreak 1)\bigr)$, (b) $D\bigl(\N(0,\allowbreak 1)\,\|\,\N(1,\allowbreak 4)\bigr)$를 구하라.

힌트

(a)는 $s_1=2$, $s_2=1$. (b)는 $s_1=1$, $s_2=2$.

풀이

(a) $\log\tfrac12+\tfrac{4+1}2-\tfrac12=2-\log2\approx1.307$. (b) $\log2+\tfrac{1+1}8-\tfrac12=\log2-\tfrac14\approx0.443$. 두 값이 다르다. 명제 3.3의 하한은 $D(q\|k)$, 곧 근사 $q$를 앞에 둔 방향의 발산을 쓴다.

최종답 (a) $2-\log2\approx1.307$ (b) $\log2-\tfrac14\approx0.443$

A14 임의효과 모형의 MLE ★★

명제 7.2 · 10분

네 사람을 두 번씩 잰 값이 $(3,5)$, $(6,6)$, $(2,4)$, $(9,7)$이다. 명제 7.2의 식으로 (a) $\hat\sigma^2$, (b) $\hat m$, (c) $\hat\tau^2$을 구하라.

힌트

$D=(-2,0,-2,2)$, $S=(8,12,6,16)$. 분산 MLE는 $n$으로 나눈다.

풀이

$D=(-2,0,-2,2)$이므로 (a) $\hat\sigma^2=\tfrac{4+0+4+4}{8}=\tfrac32$. $S=(8,12,6,16)$, $\bar S=10.5$이므로 (b) $\hat m=\tfrac{21}4$. $\tfrac1n\sum(S_i-\bar S)^2=\tfrac{6.25+2.25+20.25+30.25}4=\tfrac{59}4$이므로 (c) $\hat\tau^2=\tfrac14\bigl(\tfrac{59}4-3\bigr)=\tfrac{47}{16}$이다. 양수이므로 경계 문제는 없다.

최종답 (a) $\tfrac32$ (b) $\tfrac{21}4$ (c) $\tfrac{47}{16}$

워크북 PDF풀이판 PDF답 확인