10회 · 숨은 변수와 EM · 워크북

D. 퀄형

여러 절의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 모형을 완전 자료와 관측 자료로 나눠 적는 것부터 답안의 일부다. 수렴할 때까지 반복해야 하는 값은 노트북으로 구한다.

D1 0이 기록되지 않는 Poisson ★★★

[T5], [T6] · 알고리즘 3.1, 정리 3.5, 3.6 · 제한 40분

사건이 한 번 이상 일어난 단위만 기록된다. 기록된 $n$개 단위의 사건 수 $y_i\ge1$은 Poisson$(\lambda)$를 $y\ge1$로 제한한 분포 $p(y)=\frac{e^{-\lambda}\lambda^y}{y!\,(1-e^{-\lambda})}$를 따른다. $\bar y=\frac1n\sum y_i$로 쓴다.

1. (a)

   관측 로그가능도를 쓰고 가능도 방정식이 $\frac{\lambda}{1-e^{-\lambda}}=\bar y$임을 보여라. $\bar y>1$이면 해가 하나뿐임을 보여라.

2. (b)

   기록되지 않은 0의 개수 $N_0$를 숨은 자료로 두고, 관측 단위 하나마다 기록되지 않은 단위가 평균 $\frac{e^{-\lambda}}{1-e^{-\lambda}}$개라는 것을 받아들인다. 완전 자료(모든 $n+N_0$개 단위의 Poisson 표본)의 MLE는 $\sum y_i/(n+N_0)$이다. E 단계와 M 단계를 적고 EM 사상이 $\lambda\mapsto\bar y\,(1-e^{-\lambda})$임을 보여라.

3. (c)

   EM 사상의 고정점이 (a)의 해임을 보여라.

4. (d)

   $\bar y=2$이면 $\hat\lambda$는 얼마인가? 소수 넷째 자리까지 구하라.

5. (e)

   수렴 비율(EM 사상의 $\hat\lambda$에서의 미분)을 구하고, 그것이 $I_m/I_c=1-J/I_c$와 같음을 보여라.

힌트

(a) $h(\lambda)=\lambda/(1-e^{-\lambda})$는 $\lambda\to0$에서 1로 가고 증가한다. (e) $J=n\bigl[\tfrac{\bar y}{\lambda^2}-\tfrac{e^{-\lambda}}{(1-e^{-\lambda})^2}\bigr]$, $I_c=\tfrac{n\bar y}{\lambda^2}$이고, $\hat\lambda$에서 $\bar y=\hat\lambda/(1-e^{-\hat\lambda})$를 쓴다.

풀이

(a) $\ell(\lambda)=n\bar y\log\lambda-n\lambda-n\log(1-e^{-\lambda})+$상수이고 $\ell'(\lambda)=\tfrac{n\bar y}\lambda-n-\tfrac{ne^{-\lambda}}{1-e^{-\lambda}}=\tfrac{n\bar y}\lambda-\tfrac n{1-e^{-\lambda}}$이다. 0으로 두면 $\tfrac\lambda{1-e^{-\lambda}}=\bar y$이다. $h(\lambda)=\tfrac\lambda{1-e^{-\lambda}}$는 $\lambda\to0$에서 1로 가고($1-e^{-\lambda}\sim\lambda$ [T8]), $h'(\lambda)=\tfrac{1-e^{-\lambda}-\lambda e^{-\lambda}}{(1-e^{-\lambda})^2}>0$이다($e^\lambda>1+\lambda$). 따라서 $\bar y>1$이면 해가 하나뿐이다.

(b) E 단계: $E[N_0\mid\y]=n\tfrac{e^{-\lambda_t}}{1-e^{-\lambda_t}}$. M 단계: $\lambda_{t+1}=\tfrac{n\bar y}{n+E[N_0\mid\y]}=\tfrac{\bar y}{1+e^{-\lambda_t}/(1-e^{-\lambda_t})}=\bar y\,(1-e^{-\lambda_t})$.

(c) 고정점 $\lambda=\bar y(1-e^{-\lambda})$는 (a)의 방정식과 같다.

(d) $\lambda_0=2$에서 $1.7293,\allowbreak \ 1.6452,\allowbreak \ 1.6140,\allowbreak \dots$로 가고 $\hat\lambda=1.5936$이다.

(e) 사상의 미분은 $\bar ye^{-\lambda}$이고 $\hat\lambda$에서 $2e^{-1.5936}=0.4064$이다. 완전 자료의 0들은 로그가능도에 $-\lambda$만 더하므로 $I_c=E[-\ell_c''\mid\y]=n\bar y/\lambda^2$이다. $1-\tfrac J{I_c}=\tfrac{\lambda^2e^{-\lambda}}{\bar y(1-e^{-\lambda})^2}$이고 $\hat\lambda$에서 $\bar y=\hat\lambda/(1-e^{-\hat\lambda})$를 넣으면 $\tfrac{\hat\lambda e^{-\hat\lambda}}{1-e^{-\hat\lambda}}=\bar ye^{-\hat\lambda}$로 같다(정리 3.6).

최종답 (d) $\hat\lambda=1.5936$ (e) $0.4064$

D2 동전 두 개 ★★★

명제 4.1, 4.3, 예제 4.4 · 제한 35분

앞면 확률이 $\theta_A$, $\theta_B$인 동전 A, B가 있다. 다섯 번에 걸쳐, 매번 같은 확률 $\tfrac12$로 동전 하나를 골라 10번 던졌다. 앞면의 수는 $(5,\ 9,\ 8,\ 4,\ 7)$이고, 어느 동전을 골랐는지는 기록되지 않았다.

1. (a)

   관측 로그가능도를 적어라.

2. (b)

   E 단계의 책임 $w_i=P(\text{동전 A}\mid h_i)$를 적어라.

3. (c)

   M 단계의 식을 유도하라.

4. (d)

   $(\theta_A,\allowbreak \theta_B)=(0.6,\allowbreak \ 0.5)$에서 한 번 돌린 $\theta_A$를 구하라.

5. (e)

   같은 반복의 $\theta_B$를 구하라.

6. (f)

   노트북으로 수렴시킨 $\theta_A$를 소수 넷째 자리까지 구하라.

7. (g)

   수렴시킨 $\theta_B$를 구하라. $(\theta_B,\theta_A)$를 바꾼 점의 가능도는 어떤가? $(0.5,\ 0.5)$에서 출발하면 어떻게 되는가?

힌트

(b) $w_i=\tfrac{\theta_A^{h_i}(1-\theta_A)^{10-h_i}}{\theta_A^{h_i}(1-\theta_A)^{10-h_i}+\theta_B^{h_i}(1-\theta_B)^{10-h_i}}$. (c) 명제 4.1의 정규를 이항으로 바꾼다. (g) 명제 4.3과 예제 4.4.

풀이

(a) $\ell(\theta_A,\allowbreak \theta_B)=\sum_{i=1}^5\log\bigl[\tfrac12\theta_A^{h_i}(1-\theta_A)^{10-h_i}+\tfrac12\theta_B^{h_i}(1-\theta_B)^{10-h_i}\bigr]+$상수.

(b) 베이즈 정리로 힌트의 식이다. 비율 $\tfrac12$은 약분된다.

(c) $Q=\sum_i\bigl[w_i(h_i\log\theta_A+(10-h_i)\log(1-\theta_A))+(1-w_i)(h_i\log\theta_B+(10-h_i)\log(1-\theta_B))\bigr]$를 미분하면 $\theta_A=\tfrac{\sum w_ih_i}{10\sum w_i}$, $\theta_B=\tfrac{\sum(1-w_i)h_i}{10\sum(1-w_i)}$이다. 각 동전에 책임만큼 나눠 준 앞면의 비율이다.

(d) $w=(0.449,\allowbreak \ 0.805,\allowbreak \ 0.734,\allowbreak \ 0.352,\allowbreak \ 0.647)$이고 A에 나눠 준 앞면은 21.30, 던진 수는 29.87이므로 $\theta_A=0.7130$이다.

(e) B에는 앞면 11.70, 던진 수 20.13이므로 $\theta_B=0.5813$이다.

(f) $0.7968$.

(g) $0.5196$. 이름표를 바꾼 $(0.5196,\ 0.7968)$은 가능도가 정확히 같다(명제 4.3). $(0.5,0.5)$에서 출발하면 모든 책임이 $\tfrac12$이고 두 동전 모두 전체 비율 $\tfrac{33}{50}=0.66$으로 가서 갈라지지 않는다(예제 4.4).

최종답 (d) $0.7130$ (e) $0.5813$ (f) $0.7968$ (g) $0.5196$

D3 비율의 정보와 잃어버린 정보 ★★★

[T6] · 정리 1.2, 3.5, 3.6, 3회 정리 2.6 · 제한 35분

알려진 두 밀도 $f_1=\varphi(\cdot;0,1)$, $f_2=\varphi(\cdot;\mu,1)$의 혼합 $g=\pi f_1+(1-\pi)f_2$에서 $\pi$만 모른다. 한 관측의 정보 $I(\pi)$를 생각한다.

1. (a)

   점수가 $s=\frac{f_1-f_2}g$이고 $I(\pi)=\int\frac{(f_1-f_2)^2}g\,dy$임을 보여라.

2. (b)

   책임 $r=\pi f_1/g$로 쓰면 $s=\frac{r-\pi}{\pi(1-\pi)}$임을 보이고, 이름표 $Z=1\{\text{성분 }1\}$에 대해 $r=E[Z\mid Y]$임을 써서 $I(\pi)\le\frac1{\pi(1-\pi)}$을 보여라. 오른쪽은 무엇의 정보인가?

3. (c)

   $\mu\to0$이면 $I(\pi)\to0$임을 보여라.

4. (d)

   $\pi=\tfrac12$, $\mu=3$이면 $I(\pi)$는 얼마인가? (수치 적분은 노트북에서)

5. (e)

   같은 경우 표본이 클 때 EM의 수렴 비율 $1-I(\pi)\pi(1-\pi)$를 구하라.

힌트

(b) 전분산 공식(3회 정리 2.6)으로 $\Var E[Z\mid Y]\le\Var Z=\pi(1-\pi)$. (c) 지배수렴 [T6].

풀이

(a) $\log g$를 $\pi$로 미분하면 $s=\tfrac{f_1-f_2}g$이다. $E s=\int(f_1-f_2)\,dy=0$이므로 $I(\pi)=Es^2=\int\tfrac{(f_1-f_2)^2}{g^2}g\,dy$이다.

(b) $\tfrac{f_1}g=\tfrac r\pi$, $\tfrac{f_2}g=\tfrac{1-r}{1-\pi}$이므로 $s=\tfrac r\pi-\tfrac{1-r}{1-\pi}=\tfrac{r-\pi}{\pi(1-\pi)}$이다. $r=P(Z=1\mid Y)=E[Z\mid Y]$이고 $E r=EZ=\pi$이므로 $I(\pi)=\tfrac{\Var r}{\pi^2(1-\pi)^2}$이다. 전분산 공식으로 $\Var E[Z\mid Y]\le\Var Z=\pi(1-\pi)$이므로 $I(\pi)\le\tfrac1{\pi(1-\pi)}$이다. 오른쪽은 이름표를 볼 때, 곧 Bernoulli$(\pi)$ 하나의 정보 $I_c$다. 등호는 $r=Z$, 곧 관측이 이름표를 완전히 정할 때뿐이다.

(c) $\mu\to0$이면 $f_2\to f_1$이고 $\tfrac{(f_1-f_2)^2}g\le\tfrac{(f_1+f_2)^2}{\min(\pi,1-\pi)(f_1+f_2)}=\tfrac{f_1+f_2}{\min(\pi,1-\pi)}$이다. $\mu$가 유계인 범위에서 $f_1+f_2$는 적분가능한 함수로 누를 수 있으므로 지배수렴으로 $I(\pi)\to0$이다.

(d) 수치 적분으로 $I(\tfrac12)=3.211$이다. 상한 $4$의 80%다.

(e) $1-3.211/4=0.197$이다. EM 사상은 한 번에 오차를 약 5분의 1로 줄인다(정리 3.6에서 표본 평균을 기댓값으로 바꾼 것).

최종답 (d) $3.211$ (e) $0.197$

D4 ABO 혈액형의 유전자 빈도 ★★★

명제 4.1, 정리 3.2, 2회 정리 8.3 · 제한 40분

대립유전자 A, B, O의 빈도를 $p,q,r$($p+q+r=1$)이라 하고 Hardy–Weinberg 평형을 가정한다. 유전자형 AA, AO, BB, BO, AB, OO의 확률은 $p^2$, $2pr$, $q^2$, $2qr$, $2pq$, $r^2$이고, 표현형 A는 AA와 AO, B는 BB와 BO이다. 521명의 표현형이 A 186, B 38, AB 13, O 284였다.

1. (a)

   관측 로그가능도를 적어라.

2. (b)

   유전자형의 수 $(n_{AA},\allowbreak n_{AO},\allowbreak n_{BB},\allowbreak n_{BO},\allowbreak n_{AB},\allowbreak n_{OO})$를 모두 안다면 MLE가 “유전자 세기” $p=\frac{2n_{AA}+n_{AO}+n_{AB}}{2n}$임을 보여라.

3. (c)

   E 단계를 적어라.

4. (d)

   $(p,\allowbreak q,\allowbreak r)=(\tfrac13,\allowbreak \tfrac13,\allowbreak \tfrac13)$에서 한 번 돌린 $p$를 분수로 구하라.

5. (e)

   같은 반복의 $q$를 분수로 구하라.

6. (f)

   노트북으로 수렴시킨 $\hat p$를 소수 넷째 자리까지 구하라.

7. (g)

   수렴시킨 $\hat q$를 구하라.

힌트

(b) 완전 자료의 로그가능도는 $(2n_{AA}+n_{AO}+n_{AB})\log p+(2n_{BB}+n_{BO}+n_{AB})\log q+(n_{AO}+n_{BO}+2n_{OO})\log r+$상수다. (c) A 186명 가운데 AA의 기대 수는 $186\tfrac{p^2}{p^2+2pr}$.

풀이

(a) $\ell=186\log(p^2+2pr)+38\log(q^2+2qr)+13\log(2pq)+284\log r^2$.

(b) 각 유전자형 확률에 로그를 취해 더하면 힌트의 식이다. A, B, O 대립유전자가 각각 몇 번 나왔는지가 계수이고 합은 $2n$이다. $p+q+r=1$ 아래에서 Gibbs 부등식(2회 정리 8.3)으로 최대점은 각 계수를 $2n$으로 나눈 것이다.

(c) $E[n_{AA}\mid\y]=186\tfrac{p^2}{p^2+2pr}$, $E[n_{AO}\mid\y]=186\tfrac{2pr}{p^2+2pr}$, $E[n_{BB}\mid\y]=38\tfrac{q^2}{q^2+2qr}$, $E[n_{BO}\mid\y]=38\tfrac{2qr}{q^2+2qr}$이고 AB와 OO는 관측 그대로다.

(d) $p=q=r=\tfrac13$이면 $\tfrac{p^2}{p^2+2pr}=\tfrac13$이므로 $n_{AA}=62$, $n_{AO}=124$이다. $p=\tfrac{2\cdot62+124+13}{1042}=\tfrac{261}{1042}\approx0.2505$.

(e) $n_{BB}=\tfrac{38}3$, $n_{BO}=\tfrac{76}3$이므로 $q=\tfrac{76/3+76/3+13}{1042}=\tfrac{191}{3126}\approx0.0611$.

(f) $\hat p=0.2136$. (g) $\hat q=0.0501$이고 $\hat r=0.7363$이다. 정리 3.2로 반복마다 (a)의 가능도가 늘고, 직접 최대화한 값과 같다.

최종답 (d) $\tfrac{261}{1042}\approx0.2505$ (e) $\tfrac{191}{3126}\approx0.0611$ (f) $0.2136$ (g) $0.0501$

워크북 PDF풀이판 PDF답 확인