9회 · 최대가능도 · 워크북

D. 퀄형

여러 절의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 가능도를 정확히 적는 것부터 답안의 일부다. 정규분위수는 $z_{0.025}=1.96$, $\chi^2_{1,0.05}=3.84$를 쓴다.

D1 중도절단된 수명 ★★★

정리 1.6, 2.2, 3.1 · 제한 45분

전구 $n$개의 수명 $X_i\iid\mathrm{Exp}$ (비율 $\lambda$)를 시각 $c$까지만 지켜본다. 관측은 $Y_i=\min(X_i,c)$와 $\delta_i=1\{X_i\le c\}$이다. $d=\sum\delta_i$는 꺼진 전구의 수, $T=\sum Y_i$는 총 관측 시간이다.

1. (a)

   한 관측 $(y,\delta)$의 가능도가 $\lambda^\delta e^{-\lambda y}$임을 보이고, $d\ge1$이면 MLE가 $\hat\lambda=d/T$임을 보여라.

2. (b)

   한 관측의 Fisher 정보가 $I(\lambda)=\tfrac{1-e^{-\lambda c}}{\lambda^2}$임을 보여라. (check()에는 $\lambda$를 lam으로 쓴다.)

3. (c)

   $n=50$, $d=30$, $T=120$이면 $\hat\lambda$는 얼마인가?

4. (d)

   (c)에서 관측 정보 $-\ell''(\hat\lambda)$로 만든 표준오차를 구하고, 95% 구간을 써라.

힌트

(a) 꺼진 전구는 밀도 $\lambda e^{-\lambda y}$, 아직 켜진 전구는 생존확률 $P(X>c)=e^{-\lambda c}$를 기여한다. (b) $\ell''=-\delta/\lambda^2$이고 $E\delta=1-e^{-\lambda c}$.

풀이

(a) $\delta=1$이면 $X=y\le c$의 밀도 $\lambda e^{-\lambda y}$, $\delta=0$이면 $P(X>c)=e^{-\lambda c}=e^{-\lambda y}$ ($y=c$)이다. 둘을 합치면 $\lambda^\delta e^{-\lambda y}$이다. $\ell(\lambda)=d\log\lambda-\lambda T$, $\ell'(\lambda)=\tfrac d\lambda-T=0$에서 $\hat\lambda=d/T$이고 $\ell''=-d/\lambda^2<0$이므로 최대점이다. $d=0$이면 $\ell$은 증가하지 않고 최대점이 $\lambda=0$ 쪽 경계에 있다. (b) 한 관측의 $\tfrac{\partial^2}{\partial\lambda^2}\log f=-\tfrac\delta{\lambda^2}$이므로 $I(\lambda)=\tfrac{E\delta}{\lambda^2}=\tfrac{1-e^{-\lambda c}}{\lambda^2}$이다(정리 2.2). $c\to\infty$이면 완전한 관측의 $1/\lambda^2$이다. 지켜보지 못한 부분만큼 정보가 준다. (c) $\hat\lambda=30/120=0.25$. (d) $-\ell''(\hat\lambda)=d/\hat\lambda^2$이므로 표준오차는 $\hat\lambda/\sqrt d=0.25/\sqrt{30}\approx0.0456$이고, 95% 구간은 $0.25\pm0.0894=[0.161,\ 0.339]$이다(따름정리 3.2(a)).

최종답 (b) $\tfrac{1-e^{-\lambda c}}{\lambda^2}$ (c) $0.25$ (d) $\tfrac{0.25}{\sqrt{30}}\approx0.0456$

D2 Neyman–Scott, $k$k번 측정 ★★★

정리 3.1, 7회 정리 1.6 · 제한 30분

$n$명에게서 $k$번씩 측정한다: $X_{ij}\iid\N(\mu_i,\sigma^2)$, $i=1,\dots,n$, $j=1,\dots,k$ ($k\ge2$ 고정).

1. (a)

   $(\mu_1,\dots,\mu_n,\sigma^2)$의 MLE를 구하라.

2. (b)

   $n\to\infty$에서 $\hat\sigma^2$의 확률극한을 $k$와 $\sigma^2$의 식으로 구하라. (check()에는 $\sigma$를 sigma로 쓴다.)

3. (c)

   $\hat\sigma^2$에 곱해 일치추정량을 만드는 상수를 구하라. 정리 3.1의 어느 가정이 깨졌는가?

힌트

$\sum_j(X_{ij}-\bar X_i)^2/\sigma^2\sim\chi^2(k-1)$이고 사람마다 독립이다(6회 정리 2.2).

풀이

(a) $\sigma^2$을 고정하면 $\mu_i$는 사람 $i$의 제곱합만 최소화하므로 $\hat\mu_i=\bar X_i$이다. 이것을 넣고 $\sigma^2$로 미분하면 $\hat\sigma^2=\tfrac1{nk}\sum_i\sum_j(X_{ij}-\bar X_i)^2$이다. (b) $W_i=\sum_j(X_{ij}-\bar X_i)^2$는 iid이고 $EW_i=(k-1)\sigma^2$이다(6회 정리 2.2, $\chi^2(k-1)$의 평균). 대수의 법칙으로 $\hat\sigma^2=\tfrac1k\cdot\tfrac1n\sum W_i\xrightarrow{P}\tfrac{k-1}k\sigma^2$이다. (c) $\tfrac k{k-1}$을 곱하면 $\tfrac1{n(k-1)}\sum W_i\xrightarrow{P}\sigma^2$이다. 정리 3.1은 모수의 수가 고정되어 있다고 가정했는데, 여기서는 모수가 $n+1$개로 자료와 함께 는다. $k=2$이면 노트 예제 7.2의 $\tfrac12$이다.

최종답 (b) $\tfrac{k-1}k\sigma^2$ (c) $\tfrac k{k-1}$

D3 Hardy–Weinberg 평형 ★★★

정리 2.2, 5.2, 8회 정리 5.1 · 제한 40분

유전자형 AA, Aa, aa의 확률이 Hardy–Weinberg 모형에서 $\theta^2$, $2\theta(1-\theta)$, $(1-\theta)^2$이다. 100명을 조사해 $(n_1,n_2,n_3)=(50,30,20)$을 얻었다.

1. (a)

   $\theta$의 MLE가 $\tfrac{2n_1+n_2}{2n}$임을 보이고 값을 구하라.

2. (b)

   한 사람의 Fisher 정보 $I(\theta)$를 구하라.

3. (c)

   모형이 맞는지를 일반 다항 모형에 대해 가능도비로 검정하라. $G=2\sum O\log\tfrac OE$를 구하라. 자유도는?

4. (d)

   Pearson의 $X^2=\sum\tfrac{(O-E)^2}E$도 구하고 결론을 내려라.

힌트

(a) $\ell=(2n_1+n_2)\log\theta+(n_2+2n_3)\log(1-\theta)+$상수. 유전자 $2n$개 가운데 A의 수를 세는 것과 같다. (b) 한 사람의 A 유전자 수는 Binomial$(2,\theta)$이다. (c) 기대도수는 $100\hat\theta^2$ 등이다.

풀이

(a) $\ell'(\theta)=\tfrac{2n_1+n_2}\theta-\tfrac{n_2+2n_3}{1-\theta}=0$에서 $\hat\theta=\tfrac{2n_1+n_2}{2n}=\tfrac{130}{200}=0.65$이다. (b) 한 사람의 로그가능도는 A의 수 $Y\sim\mathrm{Bin}(2,\theta)$에 대해 $Y\log\theta+(2-Y)\log(1-\theta)$이므로 $I(\theta)=\tfrac{2}{\theta(1-\theta)}$이다. (c) 기대도수는 $100\cdot0.4225=42.25$, $100\cdot0.455=45.5$, $100\cdot0.1225=12.25$이다. $G=2\bigl[50\log\tfrac{50}{42.25}+30\log\tfrac{30}{45.5}+20\log\tfrac{20}{12.25}\bigr]\approx11.46$이다. 일반 다항 모형의 자유로운 모수는 2개, Hardy–Weinberg는 1개이므로 자유도는 1이다(노트 5.1절의 상자). (d) $X^2=\tfrac{7.75^2}{42.25}+\tfrac{15.5^2}{45.5}+\tfrac{7.75^2}{12.25}\approx11.60$이다. 둘 다 $3.84$를 크게 넘으므로($p\approx0.0007$) Hardy–Weinberg 평형을 기각한다. 이형접합 Aa가 기대보다 적다.

최종답 (a) $0.65$ (b) $\tfrac{2}{\theta(1-\theta)}$ (c) $G\approx11.46$ (d) $X^2\approx11.60$

D4 변동계수가 1인 정규 ★★★

정리 1.6, 2.2, 3.1 · 제한 35분

$X_i\iid\N(\theta,\theta^2)$, $\theta>0$이다. $\bar x=\tfrac1n\sum x_i$, $m_2=\tfrac1n\sum x_i^2$으로 쓴다.

1. (a)

   가능도 방정식이 $\theta^2+\bar x\theta-m_2=0$임을 보이고 MLE를 $\bar x$와 $m_2$의 식으로 구하라. (check()에는 xbar, m2로 쓴다.)

2. (b)

   한 관측의 Fisher 정보 $I(\theta)$를 구하라.

3. (c)

   $\bar X$도 $\theta$의 불편추정량이다. $\bar X$의 점근 효율 $\tfrac{1/(nI)}{\Var\bar X}$를 구하라.

4. (d)

   $\bar x=2$, $m_2=6$이면 $\hat\theta$는 얼마인가?

힌트

(a) $\ell(\theta)=-n\log\theta-\tfrac{1}{2\theta^2}\sum(x_i-\theta)^2+$상수. $\theta^3$을 곱해 정리한다. 양의 근을 고른다. (b) $\tfrac{\partial^2}{\partial\theta^2}\log f$의 기댓값에 $E(X-\theta)=0$, $E(X-\theta)^2=\theta^2$을 넣는다.

풀이

(a) $\ell'(\theta)=-\tfrac n\theta+\tfrac{\sum(x_i-\theta)^2}{\theta^3}+\tfrac{\sum(x_i-\theta)}{\theta^2}$이다. $\theta^3/n$을 곱하면 $-\theta^2+(m_2-2\theta\bar x+\theta^2)+\theta(\bar x-\theta)=m_2-\theta\bar x-\theta^2=0$이다. 양의 근은 $\hat\theta=\tfrac{-\bar x+\sqrt{\bar x^2+4m_2}}2$이다. 두 근의 곱이 $-m_2<0$이므로 양의 근은 하나다. (b) $\log f=-\log\theta-\tfrac{(x-\theta)^2}{2\theta^2}+$상수에서 $\tfrac{\partial^2}{\partial\theta^2}\log f=\tfrac1{\theta^2}-\tfrac3{\theta^4}(x-\theta)^2-\tfrac4{\theta^3}(x-\theta)-\tfrac1{\theta^2}$이다. 기댓값은 $\tfrac1{\theta^2}-\tfrac3{\theta^2}-0-\tfrac1{\theta^2}=-\tfrac3{\theta^2}$이므로 $I(\theta)=\tfrac3{\theta^2}$이다. (c) $\Var\bar X=\tfrac{\theta^2}n$이고 한계는 $\tfrac{\theta^2}{3n}$이므로 효율은 $\tfrac13$이다. 표본평균은 분산에 들어 있는 정보를 버린다. (d) $\hat\theta=\tfrac{-2+\sqrt{4+24}}2=\sqrt7-1\approx1.646$이다.

최종답 (a) $\tfrac{-\bar x+\sqrt{\bar x^2+4m_2}}2$ (b) $3/\theta^2$ (c) $\tfrac13$ (d) $\sqrt7-1\approx1.646$

워크북 PDF풀이판 PDF답 확인