9회 · 최대가능도 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 MLE가 하나가 아닐 때 ★★

[T1], [T5] · 정의 1.1 · 15분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm U(\theta,\allowbreak \theta+1)$이다.

1. (a)

   $L(\theta)=1\{x_{(n)}-1\le\theta\le x_{(1)}\}$임을 보여라.

2. (b)

   구간 $[x_{(n)}-1,\ x_{(1)}]$의 모든 점이 MLE임을 보여라.

3. (c)

   어떤 MLE $\hat\theta_n$을 고르든 $\hat\theta_n\xrightarrow{P}\theta$임을 보여라.

힌트

(c) 참값 $\theta$도 그 구간 안에 있다. 구간의 길이 $1-(X_{(n)}-X_{(1)})$가 $\varepsilon$보다 클 확률을 $X_{(1)}>\theta+\tfrac\varepsilon2$와 $X_{(n)}<\theta+1-\tfrac\varepsilon2$의 확률로 누른다.

풀이

(a) $L(\theta)=\prod_i1\{\theta\le x_i\le\theta+1\}$이고, 모든 $i$에서 $\theta\le x_i$인 것은 $\theta\le x_{(1)}$과, 모든 $i$에서 $x_i\le\theta+1$인 것은 $\theta\ge x_{(n)}-1$과 같다 [T1]. (b) $L$은 그 구간에서 1, 밖에서 0이므로 구간의 모든 점에서 최댓값 1을 갖는다. 관측값은 모두 $(\theta,\theta+1)$ 안에 있으므로 구간은 비어 있지 않다. (c) 참값 $\theta$도 구간 안에 있으므로 $|\hat\theta_n-\theta|\le1-(X_{(n)}-X_{(1)})$이다. 구간의 길이가 $\varepsilon$보다 크면 $X_{(1)}>\theta+\tfrac\varepsilon2$이거나 $X_{(n)}<\theta+1-\tfrac\varepsilon2$이다. Boole 부등식으로 $P(|\hat\theta_n-\theta|>\varepsilon)\le2(1-\tfrac\varepsilon2)^n\to0$이다. 수렴 속도는 $1/n$이다(정칙조건 (R1)이 깨지는 모형).

C2 가능도가 끝없이 커질 때 ★★

[T5] · 정의 1.1, 정리 1.6 · 15분

밀도 $f(x;\mu,\allowbreak \sigma)=\tfrac12\phi(x)+\tfrac1{2\sigma}\phi\bigl(\tfrac{x-\mu}\sigma\bigr)$ ($\phi$는 표준정규 밀도)에서 서로 다른 관측값 $x_1,\dots,x_n$을 얻었다.

1. (a)

   $\mu=x_1$이면 $L(x_1,\allowbreak \sigma)\ge\tfrac{\phi(0)}{2\sigma}\prod_{i\ge2}\tfrac12\phi(x_i)$임을 보여라.

2. (b)

   $\sigma\to0$이면 $L(x_1,\sigma)\to\infty$, 곧 $(\mu,\sigma)$의 MLE가 없음을 보여라.

3. (c)

   이것이 가능도 방정식의 일치하는 근이 있다는 정리 1.6과 어긋나지 않는 이유를 설명하라.

힌트

(a) 각 인수에서 두 항 가운데 하나만 남기면 아래로 누를 수 있다. 첫 인수에서는 둘째 항, 나머지 인수에서는 첫째 항을 남긴다.

풀이

(a) 두 항이 모두 0 이상이므로 $f(x_1;x_1,\allowbreak \sigma)\ge\tfrac1{2\sigma}\phi(0)$이고 $i\ge2$에서 $f(x_i;x_1,\allowbreak \sigma)\ge\tfrac12\phi(x_i)$이다. 곱한다. (b) (a)의 오른쪽은 $\sigma\to0$에서 $\tfrac C\sigma\to\infty$ ($C>0$은 $\sigma$에 무관)이다. 가능도에 최댓값이 없으므로 MLE가 없다. (c) 정리 1.6은 참값 근처의 극대점이 확률 1로 가는 사건 위에서 있다는 주장이다. 전역 최대점의 존재를 말하지 않는다. 무한대로 가는 것은 $\sigma\to0$인 경계 쪽의 가능도이고, 정리 1.6의 증명은 $\theta_0$의 근방만 본다.

C3 Cramér–Rao 한계에 닿는 추정량 ★★★

[T2] · 정리 2.4, 3회 정리 4.4 · 30분

1. (a)

   정리 2.4의 등호가 성립할 필요충분조건이 “확률 1로 $T-k(\theta)=a(\theta)\,\ell'(\theta)$인 상수 $a(\theta)$가 있다”임을 보여라.

2. (b)

   $X_i\iid\mathrm{Poi}(\lambda)$이면 $\ell'(\lambda)=n(\bar x/\lambda-1)$이다. 모든 $\lambda$에서 한계에 닿는 불편추정량을 갖는 $k(\lambda)$는 $\lambda$의 일차함수뿐임을 보여라. 따라서 $e^{-\lambda}$의 어떤 불편추정량도 한계에 닿지 않는다.

3. (c)

   $X_i\iid\N(\theta,1)$에서 $\theta^2$의 불편추정량 $\bar X^2-\tfrac1n$의 분산과 Cramér–Rao 하한을 비교하라.

힌트

(a) Cauchy–Schwarz의 등호는 두 확률변수가 일차 관계일 때다. (b) $T$는 자료만의 함수이므로 $\lambda$가 들어 있으면 안 된다. 두 $\lambda$에서 쓴 식을 비교한다. (c) $\bar X\sim\N(\theta,\tfrac1n)$이면 $\Var\bar X^2=\tfrac{4\theta^2}n+\tfrac2{n^2}$.

풀이

(a) 정리 2.4의 증명에서 부등식은 Cauchy–Schwarz 한 번뿐이다. 그 등호는 $T-k$와 $\ell'$가 확률 1로 일차 관계일 때이고, 둘 다 평균이 0이므로 상수항 없이 $T-k=a\ell'$이다(3회 정리 4.4의 등호 조건). (b) (a)로 $T=k(\lambda)+a(\lambda)n(\bar x/\lambda-1)=\bigl[k(\lambda)-na(\lambda)\bigr]+\tfrac{na(\lambda)}\lambda\bar x$이다. 왼쪽은 $\lambda$에 의존하지 않고 $\bar x$는 둘 이상의 값을 양의 확률로 가지므로, 기울기와 절편이 $\lambda$에 무관한 상수 $B$, $A$다. 곧 $T=A+B\bar X$이고 $k(\lambda)=ET=A+B\lambda$다. $e^{-\lambda}$는 일차함수가 아니므로 한계에 닿는 불편추정량이 없다 [T2]. (c) $\Var(\bar X^2-\tfrac1n)=\tfrac{4\theta^2}n+\tfrac2{n^2}$이고, $k(\theta)=\theta^2$, $I=1$이므로 하한은 $\tfrac{(2\theta)^2}n=\tfrac{4\theta^2}n$이다. 차이 $\tfrac2{n^2}$는 $n$보다 빨리 줄어 점근적으로는 한계에 닿는다. $\theta=0$에서는 하한이 0인데 분산은 $\tfrac2{n^2}>0$이다.

C4 정보는 더해진다 ★★

정의 2.1, 정리 2.2 · 20분

1. (a)

   $X\sim f(x;\theta)$와 $Y\sim g(y;\theta)$가 독립이면 $(X,Y)$의 정보가 $I_X(\theta)+I_Y(\theta)$임을 보여라.

2. (b)

   비율 $\lambda$인 Poisson 과정을 겹치지 않는 길이 $t_1$, $t_2$의 두 구간에서 세면 정보는 $\tfrac{t_1+t_2}\lambda$임을 보여라.

3. (c)

   수명 $X\sim\mathrm{Exp}$ (비율 $\lambda$)를 시간 $c$까지만 지켜보아 $1\{X\le c\}$만 안다. 이 관측의 정보가 $\tfrac{c^2e^{-\lambda c}}{1-e^{-\lambda c}}$임을 보여라.

4. (d)

   $u=\lambda c=1$이면 (c)의 정보는 완전한 관측의 정보 $1/\lambda^2$의 몇 배인가?

힌트

(a) 결합 로그밀도는 두 로그밀도의 합이고, 점수도 합이다. 독립합의 분산. (c) $1\{X\le c\}\sim$ Bernoulli$(q)$, $q=1-e^{-\lambda c}$이고 Bernoulli$(q)$의 정보를 $\lambda$로 바꾼다(노트 연습 2.2).

풀이

(a) $\log[f(x;\theta)g(y;\theta)]$의 점수는 $s_X+s_Y$이고 두 점수는 독립이며 평균이 0이다. $\Var(s_X+s_Y)=I_X+I_Y$이다. (b) 두 구간의 개수는 독립인 $\mathrm{Poi}(\lambda t_j)$이다. $\mathrm{Poi}(\lambda t)$의 $\lambda$에 대한 점수는 $\tfrac N\lambda-t$이고 분산은 $\tfrac{\lambda t}{\lambda^2}=\tfrac t\lambda$이다. (a)로 더한다. (c) $q(\lambda)=1-e^{-\lambda c}$이고 Bernoulli$(q)$의 $q$에 대한 정보는 $\tfrac1{q(1-q)}$이다. 모수를 바꾸면(노트 연습 2.2) $\lambda$에 대한 정보는 $\tfrac{q'(\lambda)^2}{q(1-q)}=\tfrac{c^2e^{-2\lambda c}}{(1-e^{-\lambda c})e^{-\lambda c}}=\tfrac{c^2e^{-\lambda c}}{1-e^{-\lambda c}}$이다. (d) 비는 $\tfrac{u^2e^{-u}}{1-e^{-u}}$이고 $u=1$이면 $\tfrac{1}{e-1}\approx0.582$이다. 끝났는지만 보면 정보의 42%를 잃는다.

최종답 (c) $\tfrac{c^2e^{-\lambda c}}{1-e^{-\lambda c}}$ (d) $\tfrac1{e-1}\approx0.582$

C5 치우친 추정량의 한계 ★★

정리 2.4 · 15분

1. (a)

   $E_\theta T=\theta+b(\theta)$이면 $E_\theta(T-\theta)^2\ge b(\theta)^2+\tfrac{(1+b'(\theta))^2}{nI(\theta)}$임을 보여라.

2. (b)

   $X_i\iid\N(\theta,1)$, $T=c\bar X$ ($0<c<1$)의 평균제곱오차를 구하고 (a)의 하한과 같음을 보여라.

3. (c)

   $\theta=0$ 근처에서 $c\bar X$의 평균제곱오차는 $\tfrac1n$보다 작다. 정리 2.4와 모순이 아닌 이유를 말하라.

힌트

(a) 평균제곱오차 = 분산 + 치우침의 제곱이고, 분산에 정리 2.4를 $k(\theta)=\theta+b(\theta)$로 쓴다.

풀이

(a) $E(T-\theta)^2=\Var T+b(\theta)^2$이고 정리 2.4로 $\Var T\ge\tfrac{k'(\theta)^2}{nI}=\tfrac{(1+b'(\theta))^2}{nI}$이다. (b) $E(c\bar X-\theta)^2=\tfrac{c^2}n+(1-c)^2\theta^2$이다. $b(\theta)=(c-1)\theta$, $b'=c-1$, $I=1$이므로 하한은 $(c-1)^2\theta^2+\tfrac{c^2}n$으로 같다. $c\bar X-c\theta=\tfrac cn\ell'(\theta)$가 점수의 상수배이므로 C3(a)의 등호 조건이 성립한다. (c) 정리 2.4의 $\tfrac1{nI}$은 불편추정량의 한계다. $c\bar X$는 치우쳐 있어 (a)의 하한을 따르고, $\theta$가 0 근처이면 치우침의 제곱이 작아 $\tfrac1n$ 아래로 내려간다. 대가는 $|\theta|$가 클 때 $(1-c)^2\theta^2$로 치른다.

C6 KL 발산은 거리가 아니다 ★

[T2] · 보조정리 1.4 · 10분

Poisson 사이의 KL 발산은 $D(\lambda\|\lambda')=\lambda\log\tfrac\lambda{\lambda'}-\lambda+\lambda'$이다. (a) $D(1\|2)$와 (b) $D(2\|1)$을 구해 대칭이 아님을 보여라. (c) $D(1\|4)-\bigl[D(1\|2)+D(2\|4)\bigr]$을 구해 삼각부등식이 깨짐을 보여라.

힌트

$\log$를 남겨 둔다. $\log4=2\log2$.

풀이

(a) $D(1\|2)=\log\tfrac12-1+2=1-\log2\approx0.307$. (b) $D(2\|1)=2\log2-2+1=2\log2-1\approx0.386$. 서로 다르다. (c) $D(1\|4)=3-2\log2$, $D(2\|4)=2\log\tfrac12-2+4=2-2\log2$이므로 차는 $(3-2\log2)-(3-3\log2)=\log2>0$이다. 거리라면 이 차는 0 이하여야 한다 [T2]. KL 발산은 “거리”가 아니라 정보량의 차이다. 그래도 가까운 두 분포에서는 $\tfrac12I\delta^2$로 대칭인 이차식이 된다(노트 8.2절).

최종답 (a) $1-\log2\approx0.307$ (b) $2\log2-1\approx0.386$ (c) $\log2$

C7 지수족의 가능도는 오목하다 ★★

정리 2.2 · 25분

$f(x;\theta)=h(x)\exp\bigl(\theta T(x)-A(\theta)\bigr)$, $\theta$는 열린 구간에 있고 $A''(\theta)>0$이며, $\int f\,dx=1$을 적분 기호 안에서 두 번 미분할 수 있다.

1. (a)

   $E_\theta T(X)=A'(\theta)$, $\Var_\theta T(X)=A''(\theta)$임을 보여라.

2. (b)

   $\ell''(\theta)=-nA''(\theta)<0$을 보이고, 가능도 방정식 $\bar T=A'(\theta)$의 근은 있으면 하나뿐이며 전역 최대점임을 보여라.

3. (c)

   $I(\theta)=A''(\theta)$이고 관측 정보 $-\ell''(\theta)$가 자료에 의존하지 않음을 보여라. Newton–Raphson과 Fisher 채점이 같은 이유다.

4. (d)

   Poisson을 이 꼴로 쓰면 $\theta=\log\lambda$, $T(x)=x$, $A(\theta)=e^\theta$이다. $\theta$의 MLE와 정보 $I(\theta)$를 구하라.

힌트

(a) 정리 2.2의 증명과 같다. 점수가 $T(x)-A'(\theta)$이다. (b) 미분이 순감소하는 함수의 영점은 많아야 하나다.

풀이

(a) 점수는 $s=T(x)-A'(\theta)$이므로 정리 2.2의 $Es=0$에서 $ET=A'(\theta)$이고, $\tfrac{\partial^2}{\partial\theta^2}\log f=-A''(\theta)$이므로 $\Var T=\Var s=I(\theta)=A''(\theta)$이다. (b) $\ell(\theta)=\theta\sum T(x_i)-nA(\theta)+$상수이므로 $\ell''=-nA''<0$이다. $\ell'$가 순감소하므로 영점은 많아야 하나이고, 영점 $\hat\theta$의 왼쪽에서 $\ell'>0$, 오른쪽에서 $\ell'<0$이므로 $\ell$은 $\hat\theta$에서 전역 최대다. (c) (a)와 같이 $I=A''(\theta)$이고 $-\ell''(\theta)=nA''(\theta)=nI(\theta)$는 자료를 포함하지 않는다. 알고리즘 4.1의 두 분모가 같다. (d) 가능도 방정식 $\bar x=e^\theta$에서 $\hat\theta=\log\bar x$ (불변성과도 맞는다), $I(\theta)=A''(\theta)=e^\theta=\lambda$이다. 노트 연습 2.2의 공식 $I(\lambda)\cdot(d\lambda/d\theta)^2=\tfrac1\lambda\lambda^2=\lambda$와 같다.

최종답 (d) $I(\theta)=e^\theta$

C8 정규 평균의 가능도비는 정확히 $\chi^2$χ²이다 ★★

정리 5.2, 6회 정리 3.4 · 25분

$X_i\iid\N(\mu,\sigma^2)$, $H_0:\mu=\mu_0$이다.

1. (a)

   $\sigma^2$을 알면 $\Lambda_{\mathrm{LR}}=W=R=\tfrac{n(\bar X-\mu_0)^2}{\sigma^2}$이고, 이것이 모든 $n$에서 정확히 $\chi^2(1)$임을 보여라.

2. (b)

   $\sigma^2$을 모르면 두 가설 아래에서 $\sigma^2$도 최대화한 가능도비가 $\Lambda=n\log\bigl(1+\tfrac{t^2}{n-1}\bigr)$임을 보여라. $t$는 일표본 $t$ 통계량이다.

3. (c)

   (b)의 $\Lambda$는 $|t|$의 증가함수이므로 가능도비 검정은 $t$ 검정과 같음을 설명하고, $n\to\infty$에서 $\Lambda-t^2\xrightarrow{P}0$임을 보여라.

힌트

(b) $\sigma^2$의 MLE는 $H_1$에서 $\tfrac1n\sum(x_i-\bar x)^2$, $H_0$에서 $\tfrac1n\sum(x_i-\mu_0)^2$이고, 최대화한 로그가능도는 $-\tfrac n2\log\hat\sigma^2+$상수다.

풀이

(a) $\ell(\mu)=-\tfrac1{2\sigma^2}\sum(x_i-\mu)^2+$상수는 $\mu$의 이차식이고 $\hat\mu=\bar x$, $\ell(\bar x)-\ell(\mu_0)=\tfrac{n(\bar x-\mu_0)^2}{2\sigma^2}$이다. $I=1/\sigma^2$로 상수이므로 $W$도 같고, $\ell'(\mu_0)=\tfrac{n(\bar x-\mu_0)}{\sigma^2}$이므로 $R$도 같다. $\sqrt n(\bar X-\mu_0)/\sigma\sim\N(0,\allowbreak 1)$이므로 정확히 $\chi^2(1)$이다. 로그가능도가 이차식이면 Taylor 전개에 나머지항이 없다. (b) 최대화한 로그가능도는 $-\tfrac n2\log\hat\sigma^2-\tfrac n2+$상수이므로 $\Lambda=n\log\tfrac{\hat\sigma_0^2}{\hat\sigma^2}$이다. $\sum(x_i-\mu_0)^2=\sum(x_i-\bar x)^2+n(\bar x-\mu_0)^2$이므로 $\tfrac{\hat\sigma_0^2}{\hat\sigma^2}=1+\tfrac{n(\bar x-\mu_0)^2}{\sum(x_i-\bar x)^2}=1+\tfrac{t^2}{n-1}$이다($t^2=\tfrac{n(\bar x-\mu_0)^2}{S^2}$). (c) $\log(1+u)$는 증가하므로 $\Lambda>c\iff|t|>c'$이다. $\log(1+u)=u+O(u^2)$이고 $t^2=O_P(1)$이므로 $\Lambda=\tfrac n{n-1}t^2+O_P(\tfrac1n)$, 곧 $\Lambda-t^2\xrightarrow{P}0$이다 [T8].

C9 위치모형의 MLE는 등변이다 ★★

[T1] · 정의 1.1, 8회 정리 2.2 · 15분

위치모형 $f(x;\theta)=f_0(x-\theta)$에서 MLE가 자료마다 하나로 정해진다고 하자.

1. (a)

   자료를 모두 $c$만큼 옮기면 $\hat\theta(\x+c)=\hat\theta(\x)+c$임을 보여라.

2. (b)

   $\hat\theta-\theta$의 분포가 $\theta$에 의존하지 않음을 보여라.

3. (c)

   그러므로 $\hat\theta-\theta$의 분위수 $q_{\alpha/2}$, $q_{1-\alpha/2}$로 만든 구간 $[\hat\theta-q_{1-\alpha/2},\allowbreak \ \hat\theta-q_{\alpha/2}]$의 포함확률은 모든 $\theta$에서 정확히 $1-\alpha$임을 보여라.

힌트

(a) $L(\theta;\x+c)=L(\theta-c;\x)$이다. (b) $X_i=\theta+\varepsilon_i$, $\varepsilon_i\iid f_0$로 쓰고 (a)를 쓴다.

풀이

(a) $L(\theta;\x+c)=\prod f_0(x_i+c-\theta)=L(\theta-c;\x)$이므로 $\theta$가 $L(\cdot;\x+c)$를 최대로 하는 것과 $\theta-c$가 $L(\cdot;\x)$를 최대로 하는 것은 같다. 최대점이 하나이므로 $\hat\theta(\x+c)-c=\hat\theta(\x)$이다. (b) $X_i=\theta+\varepsilon_i$이면 (a)로 $\hat\theta(\X)=\theta+\hat\theta(\boldsymbol\varepsilon)$이다. $\hat\theta-\theta=\hat\theta(\boldsymbol\varepsilon)$의 분포는 $f_0$와 $n$에만 의존한다. (c) $P(q_{\alpha/2}\le\hat\theta-\theta\le q_{1-\alpha/2})=1-\alpha$이고, 이 사건은 $\theta\in[\hat\theta-q_{1-\alpha/2},\allowbreak \hat\theta-q_{\alpha/2}]$와 같다. $\hat\theta-\theta$가 축량이므로 8회 정리 2.2의 축량 방법이다. 분위수는 $\theta=0$에서 시뮬레이션으로 구할 수 있다.

워크북 PDF풀이판 PDF답 확인