9회 · 최대가능도 · 워크북

A. 계산 드릴

가능도를 세우고, 최대화하고, 정보와 구간을 손으로 계산한다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 정규분위수는 $z_{0.025}=1.96$을 쓴다.

A1 기하분포의 MLE ★

정의 1.1, 정리 1.3 · 6분

첫 성공까지의 시행 횟수 $X$가 $P(X=x)=p(1-p)^{x-1}$ ($x=1,2,\dots$)를 따른다. 관측값이 $3,1,4,2,5$이다. (a) $p$의 MLE를 구하라. (b) $P(X>2)=(1-p)^2$의 MLE를 구하라.

힌트

$\ell(p)=n\log p+(\sum x_i-n)\log(1-p)$. (b)는 불변성(정리 1.3).

풀이

(a) $\ell(p)=n\log p+(\sum x_i-n)\log(1-p)$이고 $\ell'(p)=\tfrac np-\tfrac{\sum x_i-n}{1-p}=0$에서 $\hat p=n/\sum x_i=1/\bar x$이다. $n=5$, $\sum x_i=15$이므로 $\hat p=\tfrac13$이다. $\ell''<0$이므로 최대점이다. (b) 불변성(정리 1.3)으로 $(1-\hat p)^2=\tfrac49$이다.

최종답 (a) $\tfrac13$ (b) $\tfrac49$

A2 Rayleigh 분포 ★

정의 1.1, 2.1 · 8분

밀도 $f(x;\theta)=\tfrac x\theta e^{-x^2/(2\theta)}$ ($x>0$, $\theta>0$)에서 관측값이 $1,2,2,3$이다. (a) $\theta$의 MLE를 구하라. (b) 한 관측의 Fisher 정보 $I(\theta)$를 구하라. $EX^2=2\theta$를 써도 된다.

힌트

$\log f=\log x-\log\theta-\tfrac{x^2}{2\theta}$. (b)는 $-E\,\partial^2\log f/\partial\theta^2$로 계산하는 편이 빠르다(정리 2.2).

풀이

(a) $\ell(\theta)=\sum\log x_i-n\log\theta-\tfrac1{2\theta}\sum x_i^2$, $\ell'(\theta)=-\tfrac n\theta+\tfrac{\sum x_i^2}{2\theta^2}=0$에서 $\hat\theta=\tfrac{\sum x_i^2}{2n}=\tfrac{18}8=\tfrac94$이다. (b) $\tfrac{\partial^2}{\partial\theta^2}\log f=\tfrac1{\theta^2}-\tfrac{x^2}{\theta^3}$이고 $EX^2=2\theta$이므로 $I(\theta)=-\tfrac1{\theta^2}+\tfrac{2\theta}{\theta^3}=\tfrac1{\theta^2}$이다.

최종답 (a) $\tfrac94$ (b) $1/\theta^2$

A3 베타$(\theta,1)$(θ,1) ★

정의 1.1, 정리 1.3 · 8분

밀도 $f(x;\theta)=\theta x^{\theta-1}$ ($0<x<1$)에서 관측값이 $\tfrac12,\allowbreak \tfrac14,\allowbreak \tfrac12,\allowbreak \tfrac18$이다. (a) $\theta$의 MLE를 구하라($\log2$를 남겨 둔다). (b) 평균 $EX=\tfrac\theta{\theta+1}$의 MLE를 구하라.

힌트

$\ell(\theta)=n\log\theta+(\theta-1)\sum\log x_i$. 관측값의 로그는 모두 $\log2$의 배수다.

풀이

(a) $\ell'(\theta)=\tfrac n\theta+\sum\log x_i=0$에서 $\hat\theta=-n/\sum\log x_i$이다. $\sum\log x_i=-(1+2+1+3)\log2=-7\log2$이므로 $\hat\theta=\tfrac4{7\log2}\approx0.824$이다. (b) 불변성으로 $\tfrac{\hat\theta}{\hat\theta+1}=\tfrac4{4+7\log2}\approx0.452$이다.

최종답 (a) $\tfrac{4}{7\log2}\approx0.824$ (b) $\tfrac{4}{4+7\log2}\approx0.452$

A4 $e^{-\lambda}$e^-λ의 Cramér–Rao 한계 ★

정리 2.4 · 6분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm{Poi}(\lambda)$에서 $P(X=0)=e^{-\lambda}$의 불편추정량의 분산의 Cramér–Rao 하한을 $\lambda$와 $n$의 식으로 구하라. (노트북의 check()에는 $\lambda$를 lam으로 쓴다.)

힌트

$k(\lambda)=e^{-\lambda}$이고 한 관측의 정보는 $1/\lambda$이다(예제 2.3).

풀이

$k'(\lambda)=-e^{-\lambda}$, $nI(\lambda)=n/\lambda$이므로 정리 2.4로 하한은 $\tfrac{e^{-2\lambda}}{n/\lambda}=\tfrac{\lambda e^{-2\lambda}}n$이다.

최종답 $\lambda e^{-2\lambda}/n$

A5 표준편차의 정보 ★

정의 2.1, 정리 2.4 · 8분

$X\sim\N(0,\sigma^2)$이고 모수는 표준편차 $\sigma$다. (a) 한 관측의 Fisher 정보 $I(\sigma)$를 구하라. (b) $\sigma$의 불편추정량의 분산의 Cramér–Rao 하한을 구하라(표본 $n$개).

힌트

$\log f=-\log\sigma-\tfrac{x^2}{2\sigma^2}+$상수. 분산 $\sigma^2$을 모수로 쓴 정보 $\tfrac1{2\sigma^4}$(예제 2.3)과 비교해 보라.

풀이

(a) $\tfrac{\partial^2}{\partial\sigma^2}\log f=\tfrac1{\sigma^2}-\tfrac{3x^2}{\sigma^4}$이고 $EX^2=\sigma^2$이므로 $I(\sigma)=-\tfrac1{\sigma^2}+\tfrac3{\sigma^2}=\tfrac2{\sigma^2}$이다. (b) $\tfrac1{nI(\sigma)}=\tfrac{\sigma^2}{2n}$이다. $\eta=\sigma^2$이면 $I^*(\eta)=I(\sigma)/(d\eta/d\sigma)^2=\tfrac{2/\sigma^2}{4\sigma^2}=\tfrac1{2\sigma^4}$로 예제 2.3과 맞는다.

최종답 (a) $2/\sigma^2$ (b) $\sigma^2/(2n)$

A6 비율의 Wald 구간 ★

따름정리 3.2 · 6분

400명 가운데 248명이 찬성했다. (a) $\hat p$의 표준오차 $\sqrt{\hat p(1-\hat p)/n}$을, (b) 95% Wald 구간의 아래 끝을, (c) 위 끝을 구하라.

힌트

$\hat p=0.62$. Bernoulli의 정보는 $1/(p(1-p))$이고 $nI(\hat p)$를 쓴다.

풀이

$\hat p=0.62$이고 $nI(\hat p)=\tfrac{400}{0.62\cdot0.38}$이므로 표준오차는 $\sqrt{0.62\cdot0.38/400}=0.02427$이다. 구간은 $0.62\pm1.96\cdot0.02427=0.62\pm0.0476$, 곧 $[0.5724,\ 0.6676]$이다.

최종답 (a) $0.0243$ (b) $0.5724$ (c) $0.6676$

A7 지수분포의 생존확률 ★★

따름정리 3.2(b) · [T8] · 10분

수명이 평균 $\theta$인 지수분포를 따르고, 50개의 수명의 평균이 $\bar x=4$이다. (a) $P(X>5)=e^{-5/\theta}$의 MLE를 구하라. (b) 델타 방법으로 그 표준오차를 구하라. 평균 $\theta$의 정보는 $1/\theta^2$이다.

힌트

$g(\theta)=e^{-5/\theta}$, $g'(\theta)=\tfrac5{\theta^2}e^{-5/\theta}$. 표준오차는 $|g'(\hat\theta)|/\sqrt{nI(\hat\theta)}$.

풀이

(a) $\hat\theta=\bar x=4$이므로 불변성으로 $e^{-5/4}=0.2865$이다. (b) $\Var\hat\theta\approx\tfrac1{nI(\theta)}=\tfrac{\theta^2}n$이므로 따름정리 3.2(b)로 표준오차는 $g'(\hat\theta)\tfrac{\hat\theta}{\sqrt n}=\tfrac5{16}e^{-5/4}\cdot\tfrac4{\sqrt{50}}=\tfrac{5}{4\sqrt{50}}e^{-5/4}\approx0.0506$이다.

최종답 (a) $e^{-5/4}\approx0.2865$ (b) $\tfrac{5}{4\sqrt{50}}e^{-5/4}\approx0.0506$

A8 Cauchy 위치의 한 걸음 ★★

알고리즘 4.1 · 10분

표준 Cauchy 위치모형 $f(x;\theta)=\tfrac1{\pi(1+(x-\theta)^2)}$에서 관측값이 $-1,0,3$이다. 중앙값 $\theta^{(0)}=0$에서 시작해 (a) Newton–Raphson의 한 걸음 $\theta^{(1)}$을, (b) Fisher 채점의 한 걸음을 구하라. 한 관측의 정보는 $\tfrac12$이다.

힌트

$u=x-\theta$로 쓰면 $\ell'(\theta)=\sum\tfrac{2u_i}{1+u_i^2}$, $\ell''(\theta)=-\sum\tfrac{2(1-u_i^2)}{(1+u_i^2)^2}$. $\theta=0$에서 $u=(-1,0,3)$이다.

풀이

$\theta=0$에서 $\ell'(0)=\tfrac{-2}2+0+\tfrac6{10}=-\tfrac25$, $\ell''(0)=-\bigl(0+2+\tfrac{2\cdot(-8)}{100}\bigr)=-\tfrac{46}{25}$이다. (a) $\theta^{(1)}=0-\tfrac{-2/5}{-46/25}=-\tfrac5{23}\approx-0.217$. (b) $nI=\tfrac32$이므로 $\theta^{(1)}=0+\tfrac{-2/5}{3/2}=-\tfrac4{15}\approx-0.267$. 관측된 곡률 $\tfrac{46}{25}$이 기대 곡률 $\tfrac32$보다 커서 Newton의 걸음이 더 짧다.

최종답 (a) $-\tfrac{5}{23}$ (b) $-\tfrac{4}{15}$

A9 지수분포의 세 검정 ★★

정의 5.1 · 12분

$X_i\iid\mathrm{Exp}$ (비율 $\lambda$), $n=10$, $\sum x_i=15$이다. $H_0:\lambda=1$에 대해 (a) 가능도비 통계량 $\Lambda_{\mathrm{LR}}$, (b) Wald 통계량 $W$, (c) 점수 통계량 $R$을 구하라. 한 관측의 정보는 $1/\lambda^2$이다. $W=R$이 우연인가?

힌트

$\ell(\lambda)=n\log\lambda-\lambda\sum x_i$, $\hat\lambda=1/\bar x=\tfrac23$. $W$와 $R$을 $\lambda_0\bar x$로 써 보라.

풀이

(a) $\Lambda=2[\ell(\tfrac23)-\ell(1)]=2\bigl[10\log\tfrac23-10+15\bigr]=20\log\tfrac23+10\approx1.891$. (b) $W=nI(\hat\lambda)(\hat\lambda-1)^2=\tfrac{10}{(2/3)^2}\cdot\tfrac19=\tfrac52$. (c) $\ell'(1)=n-\sum x_i=-5$, $nI(1)=10$이므로 $R=\tfrac{25}{10}=\tfrac52$. 우연이 아니다. $W=\tfrac{n(\hat\lambda-\lambda_0)^2}{\hat\lambda^2}=n(1-\lambda_0\bar x)^2$이고 $R=\tfrac{n^2(1/\lambda_0-\bar x)^2}{n/\lambda_0^2}=n(1-\lambda_0\bar x)^2$이므로 언제나 같다. 가능도비만 다르다.

최종답 (a) $20\log\tfrac23+10\approx1.891$ (b) $\tfrac52$ (c) $\tfrac52$

A10 두 KL 발산 ★

보조정리 1.4 · 8분

(a) $\N(m_1,s^2)$에서 $\N(m_2,s^2)$로의 KL 발산 $D=E_1\log\tfrac{f_1(X)}{f_2(X)}$를 구하라. (b) Bernoulli$(\tfrac12)$에서 Bernoulli$(\tfrac14)$로의 KL 발산을 구하라. (check()에는 $m_1,m_2,s$를 m1, m2, s로 쓴다.)

힌트

(a) $\log\tfrac{f_1}{f_2}=\tfrac{(x-m_2)^2-(x-m_1)^2}{2s^2}$은 $x$의 일차식이다.

풀이

(a) $\log\tfrac{f_1(x)}{f_2(x)}=\tfrac{(x-m_2)^2-(x-m_1)^2}{2s^2}=\tfrac{(m_1-m_2)(2x-m_1-m_2)}{2s^2}$이고 $E_1X=m_1$이므로 $D=\tfrac{(m_1-m_2)^2}{2s^2}$이다. (b) $\tfrac12\log\tfrac{1/2}{1/4}+\tfrac12\log\tfrac{1/2}{3/4}=\tfrac12\log\tfrac43\approx0.144$이다.

최종답 (a) $\tfrac{(m_1-m_2)^2}{2s^2}$ (b) $\tfrac12\log\tfrac43\approx0.144$

A11 평균과 분산이 같은 정규 ★★

정리 2.2 · 10분

$X\sim\N(\theta,\theta)$ ($\theta>0$, 평균과 분산이 모두 $\theta$)의 한 관측의 Fisher 정보 $I(\theta)$를 구하라. $\theta$가 평균에만 들어 있을 때의 정보 $1/\theta$보다 큰 이유를 말하라.

힌트

$\log f=-\tfrac12\log\theta-\tfrac{(x-\theta)^2}{2\theta}+$상수. 두 번 미분해 기댓값을 취한다. $E(X-\theta)=0$, $E(X-\theta)^2=\theta$.

풀이

$\tfrac{\partial}{\partial\theta}\log f=-\tfrac1{2\theta}+\tfrac{x-\theta}\theta+\tfrac{(x-\theta)^2}{2\theta^2}$, $\tfrac{\partial^2}{\partial\theta^2}\log f=\tfrac1{2\theta^2}-\tfrac1\theta-\tfrac{x-\theta}{\theta^2}-\tfrac{x-\theta}{\theta^2}-\tfrac{(x-\theta)^2}{\theta^3}$이다. 기댓값을 취하면 $\tfrac1{2\theta^2}-\tfrac1\theta-\tfrac1{\theta^2}$이므로 $I(\theta)=\tfrac1\theta+\tfrac1{2\theta^2}$이다. 첫 항은 평균에서, 둘째 항은 분산에서 오는 정보다. 자료의 흩어짐도 $\theta$에 대해 알려 준다.

최종답 $\tfrac1\theta+\tfrac1{2\theta^2}$

A12 균등분포의 가능도비 ★★

정리 5.2 · 10분

$X_i\iid\mathrm U(0,\theta)$, $n=5$, $x_{(5)}=0.8$이고 $H_0:\theta=1$이다. (a) $\Lambda=2[\ell(\hat\theta)-\ell(1)]$을 구하라. (b) $H_0$ 아래에서 $\Lambda=-2n\log X_{(n)}$이 정확히 $\chi^2(2)$, 곧 평균 2인 지수분포를 따름을 이용해 $P_{H_0}(\Lambda>3.84)$를 구하라. Wilks의 정리와 다른 이유는?

힌트

$L(\theta)=\theta^{-n}1\{\theta\ge x_{(n)}\}$, $\hat\theta=x_{(n)}$. $X_{(n)}^n\sim\mathrm U(0,1)$이다.

풀이

(a) $\ell(\hat\theta)-\ell(1)=-5\log0.8$이므로 $\Lambda=-10\log0.8\approx2.231$이다. (b) $P(\Lambda>c)=P(X_{(n)}^n<e^{-c/2})=e^{-c/2}$이므로 $e^{-1.92}\approx0.147$이다. 공칭 0.05의 세 배다. 받침이 $\theta$에 의존해 정칙조건 (R1)이 깨지고, 최대점이 가능도 방정식의 근이 아니다. 정리 5.2의 첫 단계인 $\ell'(\hat\theta)=0$이 성립하지 않는다.

최종답 (a) $-10\log0.8\approx2.231$ (b) $e^{-1.92}\approx0.147$

A13 Laplace 위치모형의 효율 ★★

정의 2.5 · 8분

밀도 $f(x;\theta)=\tfrac12e^{-|x-\theta|}$에서 (a) 한 관측의 Fisher 정보 $E\,s^2$, (b) $n\Var\bar X$, (c) 점근 효율 $\tfrac{1/(nI)}{\Var\bar X}$를 구하라.

힌트

점수는 $s(x;\theta)=\mathrm{sign}(x-\theta)$이다. Laplace 분포의 분산은 2다.

풀이

(a) $s=\mathrm{sign}(x-\theta)$이므로 $s^2=1$ (확률 1)이고 $I=1$이다. (b) $\Var X=\int x^2\tfrac12e^{-|x|}dx=2$이므로 $n\Var\bar X=2$. (c) $\tfrac{1/n}{2/n}=\tfrac12$. 표본평균은 정보의 절반을 버린다. MLE인 표본중앙값은 점근분산 $\tfrac1n$으로 한계에 닿는다.

최종답 (a) $1$ (b) $2$ (c) $\tfrac12$

A14 정보로 표본 크기 정하기 ★

따름정리 3.2 · 6분

찬성 비율이 대략 $0.3$으로 예상된다. 95% Wald 구간의 반폭이 $0.02$ 이하가 되게 하는 가장 작은 $n$을 구하라.

힌트

반폭은 $1.96\sqrt{p(1-p)/n}$이다.

풀이

$1.96\sqrt{0.21/n}\le0.02\iff n\ge\tfrac{1.96^2\cdot0.21}{0.0004}=2016.84$이므로 $n=2017$이다. 정보가 $n$에 비례하므로 반폭을 절반으로 줄이려면 표본이 네 배 필요하다.

최종답 $2017$

워크북 PDF풀이판 PDF답 확인