9회 · 최대가능도 · 노트

5 가능도로 검정하기 — Wilks, Wald, Rao

역사 Neyman과 Pearson(1928)은 두 가설의 가능도의 비로 검정을 만들자고 제안했다. Wilks(1938)는 그 비의 로그에 $-2$를 곱하면 큰 표본에서 $\chi^2$ 분포를 따른다는 것을 보였다. Wald(1943)는 추정값과 귀무가설 값의 거리로, Rao(1948)는 귀무가설에서의 점수로 검정을 만들었다. 세 검정은 큰 표본에서 같은 결론을 내지만, 작은 표본과 계산의 편의에서 다르다.

5.1 세 검정

$H_0:\theta=\theta_0$를 검정한다. 로그가능도 곡선 하나에서 세 가지 거리를 잴 수 있다(그림 5.1).

정의 5.1 (가능도비 · Wald · 점수 통계량) 

$$\Lambda_{\mathrm{LR}}=2\bigl[\ell(\hat\theta)-\ell(\theta_0)\bigr],\qquad W=nI(\hat\theta)\,(\hat\theta-\theta_0)^2,\qquad R=\frac{\ell'(\theta_0)^2}{nI(\theta_0)} .$$

가능도비는 두 점의 높이의 차, Wald는 두 점의 가로 거리(를 곡률로 잰 것), 점수는 귀무가설 점에서의 기울기다.

그림 5.1 세 검정의 기하. 로그가능도 $\ell(\theta)$에서 가능도비는 꼭대기와 $\theta_0$의 높이 차, Wald는 $\hat\theta$와 $\theta_0$의 가로 거리, 점수는 $\theta_0$에서의 접선의 기울기를 잰다. 로그가능도가 이차식이면 셋은 같다.

정리 5.2 (Wilks의 정리) 정리 3.1의 조건 아래 $H_0:\theta=\theta_0$가 참이면

$$\Lambda_{\mathrm{LR}}=2\bigl[\ell(\hat\theta_n)-\ell(\theta_0)\bigr]\ \xrightarrow{D}\ \chi^2(1),$$

그리고 $W$와 $R$도 $\chi^2(1)$로 분포수렴하며 세 통계량의 차는 $\xrightarrow{P}0$이다.

증명 전략 이번에는 $\ell$을 $\hat\theta_n$ 둘레에서 Taylor 전개한다 [T8]. $\ell'(\hat\theta_n)=0$이므로 1차항이 사라지고, 가능도비는 “곡률 × 거리의 제곱”이 된다. 세 통계량을 모두 $I(\theta_0)\,n(\hat\theta_n-\theta_0)^2$으로 바꿔 비교한다.

1. $\hat\theta_n$과 $\theta_0$ 사이의 $\theta_n^{**}$가 있어

   $$\ell(\theta_0)=\ell(\hat\theta_n)+\tfrac12(\theta_0-\hat\theta_n)^2\ell''(\theta_n^{**}) .$$

   Taylor, $\ell'(\hat\theta_n)=0$ [T8]

2. 따라서

   $$\Lambda_{\mathrm{LR}}=\bigl[-n^{-1}\ell''(\theta_n^{**})\bigr]\cdot\bigl[\sqrt n(\hat\theta_n-\theta_0)\bigr]^2 .$$

   1

3. 첫 인수는 $\xrightarrow{P}I(\theta_0)$이다.정리 3.1의 증명 4 5

4. 둘째 인수는 $\N(0,1/I(\theta_0))$의 제곱으로, 곧 $\tfrac1{I(\theta_0)}\chi^2(1)$로 분포수렴한다.정리 3.1, 7회 연습 2.4

5. Slutsky 정리로 $\Lambda_{\mathrm{LR}}\xrightarrow{D}I(\theta_0)\cdot\tfrac1{I(\theta_0)}\chi^2(1)=\chi^2(1)$이다.7회 정리 4.2

6. $W=I(\hat\theta_n)\cdot n(\hat\theta_n-\theta_0)^2$이고 $I(\hat\theta_n)\xrightarrow{P}I(\theta_0)$이므로 같은 극한이다. $R=\bigl(n^{-1/2}\ell'(\theta_0)\bigr)^2/I(\theta_0)$은 정리 3.1의 증명 3으로 $\chi^2(1)$이다.연속사상, Slutsky

7. 정리 3.1의 증명 1에서 $n^{-1/2}\ell'(\theta_0)=\sqrt n(\hat\theta_n-\theta_0)\bigl(I(\theta_0)+o_P(1)\bigr)$이다. 그러므로 세 통계량은 모두 $I(\theta_0)\,n(\hat\theta_n-\theta_0)^2+o_P(1)$이고, 서로의 차는 $\xrightarrow{P}0$이다.$O_P\cdot o_P=o_P$ [T8]

조건 확인 1은 $\hat\theta_n$이 가능도 방정식의 근이어야 쓸 수 있다. $\theta_0$가 모수공간의 경계에 있으면 $\hat\theta_n$이 경계에 붙어 $\ell'(\hat\theta_n)\ne0$일 수 있고, 극한도 $\chi^2(1)$이 아니다(6.3절의 may, 연습 6.3). 7에서 $n(\hat\theta_n-\theta_0)^2$이 확률적으로 유계라는 것은 4에서 나온다.

7회 7.4절에서 $g'(\theta)=0$이면 극한이 $\chi^2$가 된다고 했다. 로그가능도의 꼭대기에서 기울기가 0이기 때문에 가능도비가 정규가 아니라 $\chi^2$인 것이다.

극한은 얼마나 빨리 오는가? Poisson이면 $\sum X_i\sim\mathrm{Poi}(n\lambda_0)$이므로 세 검정의 실제 크기를 시뮬레이션 없이 정확히 계산할 수 있다(그림 5.2). $\lambda_0=0.7$, 공칭 크기 0.05일 때 $n=10$이면 가능도비 0.057, Wald 0.087, 점수 0.034이고, $n=280$이면 0.050, 0.051, 0.049다. Wald는 분산을 $\hat\lambda$로 추정하므로, $\hat\lambda$가 작게 나온 표본에서 통계량이 부풀어 너무 자주 기각한다. 점수 검정은 $H_0$의 분산 $\lambda_0$을 쓰므로 그런 일이 없다.

그림 5.2 왼쪽: $\lambda_0=0.7$인 Poisson에서 $\Lambda_{\mathrm{LR}}$의 정확한 분포함수와 $\chi^2(1)$(점선). 오른쪽: 공칭 0.05인 세 검정의 정확한 크기. 이산분포라서 톱니 모양이고, $n$이 커지면 모두 0.05로 모인다.

증명 없이 쓰는 사실 (여러 모수의 Wilks) $\boldsymbol\theta\in\R^p$이고 $H_0$가 $r$개의 독립인 제약(예: $\theta_1=\cdots=\theta_r=0$)이면, 정칙조건 아래 $2\bigl[\ell(\hat{\boldsymbol\theta})-\ell(\hat{\boldsymbol\theta}_0)\bigr]\xrightarrow{D}\chi^2(r)$이다($\hat{\boldsymbol\theta}_0$는 $H_0$ 아래의 MLE). 자유도는 “자유로운 모수의 수의 차이”다. 8회의 Fisher의 자유도와 같은 셈이다. 다항분포에서 $H_0$의 점수 통계량은 정확히 Pearson의 $X^2$이고, 가능도비는 $G=2\sum O\log\tfrac OE$다(연습 5.2).

5.2 구간으로 뒤집기

8회 정리 3.5의 쌍대성으로 세 검정은 세 구간을 준다. Wald 구간은 $\hat\theta\pm z/\sqrt{nI(\hat\theta)}$(따름정리 3.2), 가능도비 구간은 $\{\theta:2[\ell(\hat\theta)-\ell(\theta)]\le\chi^2_{1,\alpha}\}$, 점수 구간은 $\{\theta:R(\theta)\le\chi^2_{1,\alpha}\}$이다. 비율의 점수 구간이 8회의 Wilson 구간이다. Wald 구간만 언제나 $\hat\theta$에 대해 대칭이고, 가능도비 구간은 모수를 바꿔도(예: $\lambda$와 $\log\lambda$) 같은 구간을 준다는 장점이 있다(연습 5.3).

예제 5.3 (기병대의 세 검정) 14개 군단 280군단–해에서 $\hat\lambda=0.70$이다. Fisher가 쓴 10개 군단의 값 $\lambda_0=0.61$을 검정하면(정보 $nI(\lambda)=n/\lambda$)

	통계량	$p$	95% 구간
Wald	$1.80^2=3.24$	0.072	$[0.602,\ 0.798]$
가능도비	$3.55$	0.060	$[0.607,\ 0.803]$
점수	$1.93^2=3.72$	0.054	$[0.609,\ 0.805]$

$n=280$에서도 세 $p$-값이 0.05 근처에서 갈린다. 경계에 가까운 결론은 검정의 선택에 민감하다. Poisson의 로그가능도는 오른쪽으로 꼬리가 길어서 Wald 구간(대칭)이 두 구간보다 왼쪽에 있다.

연습문제

연습 5.1 (Poisson의 세 통계량 ★) Poisson에서 $\Lambda_{\mathrm{LR}}=2n\bigl[\bar x\log\tfrac{\bar x}{\lambda_0}-(\bar x-\lambda_0)\bigr]$, $W=\tfrac{n(\bar x-\lambda_0)^2}{\bar x}$, $R=\tfrac{n(\bar x-\lambda_0)^2}{\lambda_0}$임을 보이고 예제 5.3의 수치를 확인하라.

풀이

$\ell(\lambda)=n\bar x\log\lambda-n\lambda$이므로 $\Lambda=2n[\bar x\log\tfrac{\bar x}{\lambda_0}-(\bar x-\lambda_0)]$. $I=1/\lambda$이므로 $W=\tfrac n{\bar x}(\bar x-\lambda_0)^2$, $\ell'(\lambda_0)=n(\tfrac{\bar x}{\lambda_0}-1)$이므로 $R=\tfrac{n^2(\bar x-\lambda_0)^2/\lambda_0^2}{n/\lambda_0}=\tfrac{n(\bar x-\lambda_0)^2}{\lambda_0}$. $n=280$, $\bar x=0.7$, $\lambda_0=0.61$이면 $\Lambda=3.55$, $W=3.24$, $R=3.72$.

연습 5.2 ($G$ 통계량 ★★) 다항분포에서 $H_0:\mathbf p=\mathbf p^0$의 가능도비가 $G=2\sum_jN_j\log\tfrac{N_j}{np^0_j}$임을 보이고, $\log(1+u)\approx u-\tfrac{u^2}2$로 $G\approx X^2$임을 보여라. 점수 통계량이 정확히 $X^2$임도 보여라.

풀이

$H_1$의 MLE는 $\hat p_j=N_j/n$이므로 $\Lambda=2\sum N_j\log\tfrac{N_j/n}{p^0_j}=G$. $N_j=E_j(1+u_j)$로 쓰면 $\sum E_ju_j=0$이고 $G=2\sum E_j(1+u_j)\log(1+u_j)\approx2\sum E_j(1+u_j)(u_j-\tfrac{u_j^2}2)\approx\sum E_ju_j^2=X^2$. 점수 검정은 $\ell'(\mathbf p^0)$와 정보 행렬로 만든 이차형식이고, 제약 $\sum p_j=1$을 반영해 계산하면 $\sum\tfrac{(N_j-np^0_j)^2}{np^0_j}$, 곧 Pearson의 $X^2$가 정확히 나온다.

연습 5.3 (가능도비 구간의 불변성 ★★) $\eta=g(\theta)$ ($g$ 단조)로 모수를 바꾸면 가능도비 구간은 정확히 $g$로 옮겨지지만 Wald 구간은 그렇지 않음을 보여라. 기병대 자료에서 $\log\lambda$의 Wald 구간을 지수로 되돌려 $\lambda$의 Wald 구간과 비교하라.

풀이

가능도비 구간 $\{\theta:\ell(\theta)\ge\ell(\hat\theta)-\tfrac12\chi^2_{1,\alpha}\}$은 가능도의 높이로만 정해지므로 $\eta=g(\theta)$로 바꿔도 같은 점들의 집합, 곧 $g$로 옮긴 구간이다. Wald 구간은 $\hat\eta\pm z/\sqrt{nI^*}$로 새 척도에서 대칭이므로 되돌리면 비대칭이 된다. 기병대: $\log\lambda$의 Wald 구간 $\log0.7\pm1.96/\sqrt{280\cdot0.7}$을 되돌리면 $[0.609,\ 0.805]$로, $\lambda$의 Wald $[0.602,\ 0.798]$보다 가능도비 $[0.607,\ 0.803]$에 가깝다.

연습 5.4 (Wilks의 시뮬레이션 ★) $\mathrm{Poi}(2)$, $n=50$에서 $\Lambda_{\mathrm{LR}}$을 10만 번 시뮬레이션해 평균이 1에 가깝고 $P(\Lambda>3.84)\approx0.05$임을 노트북으로 확인하라.

풀이

10만 번의 시뮬레이션에서 평균은 1.00, $P(\Lambda>3.84)$는 0.05를 조금 넘는다. $\sum X_i\sim\mathrm{Poi}(100)$이므로 시뮬레이션 없이 정확히 계산할 수도 있다(5.1절). 평균 1.002, 크기 0.0517이다.

이 절을 PDF로 보기 (19쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례