10회 · 숨은 변수와 EM · 노트

7 고치기 — Neyman–Scott를 숨은 변수로

9회 예제 7.2에서 $n$명을 두 번씩 잰 자료 $X_{i1},\allowbreak X_{i2}\iid\N(\mu_i,\allowbreak \sigma^2)$의 MLE $\hat\sigma^2$은 $\sigma^2/2$로 갔다. 모수 $\mu_1,\dots,\mu_n$이 자료와 함께 늘어서 정리 1.3의 가정이 깨졌기 때문이다. 고치는 방법은 관점을 바꾸는 것이다. 사람마다의 평균을 “추정할 모수”가 아니라 “보이지 않는 확률변수”로 본다.

정의 7.1 (임의효과 모형) $\mu_i\iid\N(m,\tau^2)$이고, $\mu_i$가 주어지면 $X_{i1},\allowbreak X_{i2}\iid\N(\mu_i,\allowbreak \sigma^2)$이다. 모수는 $(m,\tau^2,\sigma^2)$ 셋뿐이고 $\mu_i$는 숨은 자료다(예제 2.2(d)).

명제 7.2 (임의효과 모형의 MLE) $D_i=X_{i1}-X_{i2}$, $S_i=X_{i1}+X_{i2}$로 두면 $D_i\iid\N(0,2\sigma^2)$, $S_i\iid\N(2m,\allowbreak \ 4\tau^2+2\sigma^2)$이고 $\{D_i\}$와 $\{S_i\}$는 독립이다. 따라서 $\hat\tau^2\ge0$이 되는 한 MLE는

$$\hat\sigma^2=\frac1{2n}\sum_iD_i^2,\qquad\hat m=\frac{\bar S}2,\qquad\hat\tau^2=\frac14\Bigl(\frac1n\sum_i(S_i-\bar S)^2-2\hat\sigma^2\Bigr)$$

이고, $\hat\sigma^2\xrightarrow{P}\sigma^2$이다.

증명 전략 숨은 $\mu_i$를 적분해 없애면 각 쌍이 이변량 정규가 된다. 차와 합으로 바꿔 서로 독립인 두 정규 표본으로 나누고, 각 표본의 분산 MLE에 불변성을 쓴다. 단계별 증명은 연습 7.4(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$\hat\sigma^2$이 9회 연습 7.3의 “고친” 추정량과 정확히 같다. 사람마다의 평균을 확률변수로 보았더니, 그것과 무관한 정보($D_i$)만으로 $\sigma^2$을 추정하게 된 것이다. 이 결과는 $\mu_i$가 실제로 정규분포를 따르지 않아도 맞다. $D_i$에는 $\mu_i$가 들어 있지 않기 때문이다.

예제 7.3 (EM으로 풀기) 닫힌 꼴이 있지만, $\mu_i$를 숨은 자료로 놓은 EM도 한 줄짜리다. E 단계에서 $\mu_i\mid X_{i1},X_{i2}$는 정규분포

$$\mu_i\mid\x_i\sim\N(\tilde\mu_i,\ v),\qquad v=\Bigl(\frac1{\tau^2}+\frac2{\sigma^2}\Bigr)^{-1},\qquad\tilde\mu_i=v\Bigl(\frac m{\tau^2}+\frac{X_{i1}+X_{i2}}{\sigma^2}\Bigr)$$

이고(연습 7.2), M 단계는 $m=\overline{\tilde\mu}$, $\tau^2=\overline{(\tilde\mu_i-m)^2}+v$, $\sigma^2=\tfrac1{2n}\sum_i\sum_j\bigl[(X_{ij}-\tilde\mu_i)^2+v\bigr]$이다. $n=2000$, $\sigma^2=4$, $\tau^2=9$로 만든 자료에서 EM은 $\hat\sigma^2=3.93$(표준오차 $\sqrt{2\sigma^4/n}=0.13$)으로 수렴하고, 같은 자료의 “고정효과” MLE는 1.97이다(그림 7.1).

E 단계의 $\tilde\mu_i=m+\tfrac{\tau^2}{\tau^2+\sigma^2/2}(\bar X_i-m)$는 각 사람의 평균 $\bar X_i$를 전체 평균 쪽으로 끌어당긴다(연습 7.3). 측정 오차가 클수록($\sigma^2$이 클수록) 더 많이 끌어당긴다. Galton(5회)의 평균으로의 회귀와 같은 모양이고, 16회의 James–Stein 축소 추정량이 이것을 “모수를 확률변수로 보지 않아도” 이득이 된다는 역설로 바꾼다.

그림 7.1 Neyman–Scott 자료($\sigma^2=4$)에서 사람 수 $n$에 따른 두 추정량. 고정효과 MLE(파랑)는 $\sigma^2/2=2$로, 임의효과 모형의 EM(빨강)은 참값 4로 간다. 띠는 반복 200번의 10–90% 범위다.

연습문제

연습 7.1 (차와 합 ★★) 명제 7.2에서 $\Var S_i=4\tau^2+2\sigma^2$를 확인하고, $\hat\tau^2<0$이 되는 확률이 0이 아님을 설명하라. 그때 MLE는 무엇인가? (경계, 9회 연습 6.3)

풀이

$\Var S_i=\Var X_{i1}+\Var X_{i2}+2\Cov=2(\tau^2+\sigma^2)+2\tau^2$. $\tfrac1n\sum(S_i-\bar S)^2<2\hat\sigma^2$이면 식의 $\hat\tau^2$이 음수다. $\tau^2$이 작으면 이 확률이 크다. 그때 MLE는 경계 $\hat\tau^2=0$이고, $\sigma^2$은 $D$와 $S$를 함께 써서 다시 추정한다(모든 $X_{ij}$가 같은 평균의 iid가 된다).

연습 7.2 (E 단계 ★★) $\mu\sim\N(m,\tau^2)$이고 $\mu$가 주어지면 $X_1,X_2\iid\N(\mu,\sigma^2)$일 때 $\mu\mid X_1,X_2$의 분포가 예제 7.3의 정규분포임을 보여라(5회 정리 C, 또는 지수의 완전제곱).

풀이

$\log p(\mu\mid\x)=-\tfrac{(\mu-m)^2}{2\tau^2}-\tfrac{(x_1-\mu)^2+(x_2-\mu)^2}{2\sigma^2}+$상수는 $\mu$의 이차식이고, $\mu^2$의 계수 $-\tfrac12(\tfrac1{\tau^2}+\tfrac2{\sigma^2})$와 $\mu$의 계수 $\tfrac m{\tau^2}+\tfrac{x_1+x_2}{\sigma^2}$에서 분산 $v$와 평균 $v(\tfrac m{\tau^2}+\tfrac{x_1+x_2}{\sigma^2})$가 나온다.

연습 7.3 (축소 ★) $\tilde\mu_i=m+B(\bar X_i-m)$, $B=\tfrac{\tau^2}{\tau^2+\sigma^2/2}$임을 보여라. $\tau^2\to0$과 $\tau^2\to\infty$에서 $\tilde\mu_i$는 무엇이 되는가?

풀이

$v=\tfrac{\tau^2\sigma^2/2}{\tau^2+\sigma^2/2}$이므로 $\tilde\mu_i=\tfrac{\sigma^2/2}{\tau^2+\sigma^2/2}m+\tfrac{\tau^2}{\tau^2+\sigma^2/2}\bar X_i$. $\tau^2\to0$이면 $m$(모두 같은 사람), $\tau^2\to\infty$이면 $\bar X_i$(각자의 평균).

연습 7.4 (임의효과 모형의 MLE 증명 ★★ 유도형) 명제 7.2를 다음 순서로 증명하라.

1. (a)

   $X_{ij}=\mu_i+\varepsilon_{ij}$로 쓰고 $\mu_i$, $\varepsilon_{i1}$, $\varepsilon_{i2}$가 독립인 정규임을 써서 $(X_{i1},X_{i2})$가 평균 $(m,m)$, 분산 $\tau^2+\sigma^2$, 공분산 $\tau^2$인 이변량 정규임을 보여라.

2. (b)

   $(D_i,S_i)$가 이변량 정규이고 $\Cov(D_i,S_i)=0$임을 보여 독립을 결론지어라(5회 정리 3.8, 정리 3.11). 두 분산을 구하라.

3. (c)

   가능도가 $\{D_i\}$ 부분과 $\{S_i\}$ 부분의 곱임을 보이고, 평균이 0인 정규 표본과 평균이 미지인 정규 표본의 분산 MLE를 각각 적어라.

4. (d)

   $(2\sigma^2,\allowbreak \ 4\tau^2+2\sigma^2)$가 $(\sigma^2,\tau^2)$의 일대일 변환임을 보이고 불변성(9회 정리 1.3)으로 $\hat\sigma^2$, $\hat\tau^2$을 얻어라. $\hat\tau^2\ge0$이라는 조건은 어디서 필요한가?

5. (e)

   $\hat\sigma^2\xrightarrow{P}\sigma^2$을 Khinchin의 대수의 법칙(7회 정리 1.6)으로 보여라.

풀이

(a) $\mu_i\sim\N(m,\tau^2)$, $\varepsilon_{i1},\allowbreak \varepsilon_{i2}\iid\N(0,\allowbreak \sigma^2)$이 독립이면 $(X_{i1},X_{i2})$는 독립 정규 벡터 $(\mu_i,\allowbreak \varepsilon_{i1},\allowbreak \varepsilon_{i2})$의 선형변환이므로 이변량 정규다(5회 정리 3.8). $EX_{ij}=m$, $\Var X_{ij}=\tau^2+\sigma^2$, $\Cov(X_{i1},\allowbreak X_{i2})=\Var\mu_i=\tau^2$. (b) $(D_i,S_i)$도 선형변환이므로 이변량 정규다. $\Cov(D_i,\allowbreak S_i)=\Var X_{i1}-\Var X_{i2}=0$이므로 5회 정리 3.11로 독립이다. $\Var D_i=2(\tau^2+\sigma^2)-2\tau^2=2\sigma^2$, $\Var S_i=2(\tau^2+\sigma^2)+2\tau^2=4\tau^2+2\sigma^2$이고 $ED_i=0$, $ES_i=2m$. (c) 쌍들은 독립이고 각 쌍에서 $D_i\perp S_i$이므로 결합밀도는 $\prod_i\varphi(D_i;0,\allowbreak 2\sigma^2)\cdot\prod_i\varphi(S_i;2m,\allowbreak 4\tau^2+2\sigma^2)$이다. $(X_{i1},\allowbreak X_{i2})\mapsto(D_i,\allowbreak S_i)$의 Jacobian은 상수이므로 가능도는 이 곱과 상수배만 다르다. 평균이 0인 정규 표본의 분산 MLE는 $\tfrac1n\sum D_i^2$, 평균이 미지인 정규 표본의 분산 MLE는 $\tfrac1n\sum(S_i-\bar S)^2$이고, 평균의 MLE는 $\bar S$이다. (d) $a=2\sigma^2$, $b=4\tau^2+2\sigma^2$에서 $\sigma^2=a/2$, $\tau^2=(b-a)/4$로 되돌릴 수 있으므로 일대일이다. 불변성으로 $\hat\sigma^2=\tfrac1{2n}\sum D_i^2$, $\hat m=\bar S/2$, $\hat\tau^2=\tfrac14\bigl(\tfrac1n\sum(S_i-\bar S)^2-2\hat\sigma^2\bigr)$이다. 이 변환이 모수공간 $\{\sigma^2>0,\tau^2\ge0\}$ 안에 머물려면 $b\ge a$여야 하므로, 추정값이 그 조건을 만족할 때만 이 식이 MLE다(연습 7.1). (e) $D_i^2$는 평균 $2\sigma^2$인 iid이므로 Khinchin으로 $\tfrac1n\sum D_i^2\xrightarrow{P}2\sigma^2$, 따라서 $\hat\sigma^2\xrightarrow{P}\sigma^2$이다. 쌍의 수와 함께 늘어나는 모수가 없다.

이 절을 PDF로 보기 (28쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례