9회 · 최대가능도 · 노트

6 데이터로 — 기병대, 빛의 속도, 그리고 “may”

6.1 프로이센 기병대 (1875–1894)

예제 6.1 (하나의 $\lambda$인가, 군단마다 다른가) 4회 예제 6.2에서 14개 군단의 20년 합계가 Poisson보다 흩어졌다($\sum\tfrac{(T_c-\bar T)^2}{\bar T}=27.3$, 자유도 13). 이것을 가능도비로 다시 묻는다. $H_0$: 모든 군단이 같은 $\lambda$ (모수 1개). $H_1$: 군단마다 $\lambda_c$ (모수 14개). $H_1$의 MLE는 $\hat\lambda_c=T_c/20$, $H_0$의 MLE는 $\hat\lambda=0.70$이고

$$G=2\sum_c\Bigl[T_c\log\frac{T_c}{20\hat\lambda}-(T_c-20\hat\lambda)\Bigr]=26.1,$$

자유도 $14-1=13$, $p=0.016$이다. 점수 검정에 해당하는 Pearson의 $27.3$ ($p=0.011$)과 거의 같다. 군단 사이에 실제로 차이가 있다는 증거이고, Fisher가 일부 군단을 뺀 이유를 뒷받침한다(4회 6절).

6.2 Michelson의 빛의 속도 (1879)

예제 6.2 (정밀하지만 정확하지 않다) Albert Michelson은 1879년 회전 거울로 빛의 속도를 100번 쟀다(HistData::Michelson, 단위는 km/s에서 299,000을 뺀 값). 정규모형의 MLE는 $\hat\mu=\bar x=852.4$, $\hat\sigma=78.6$이고($n$으로 나눔), $\mu$의 95% 가능도비 구간은 $[836.8,\ 868.0]$이다($t$-구간 $[836.7,\ 868.1]$과 거의 같다). 오늘의 값(공기 중으로 환산)은 734.5로 구간에서 $\tfrac{852.4-734.5}{7.9}=14.9$ 표준오차나 떨어져 있다. 측정 사이의 흩어짐은 작았지만, 모든 측정에 같은 방향의 오차(장치나 보정의 계통 오차)가 있었다. 가능도와 표준오차는 주어진 모형 안에서의 불확실성만 잰다. 모형이 “측정 = 참값 + 평균 0인 오차”를 가정하는 한, 평균이 0이 아닌 오차는 보이지 않는다.

그림 6.1 왼쪽: Michelson의 100번의 측정과 정규 MLE 적합. 빨간 선은 오늘의 값 734.5. 오른쪽: $\mu$의 로그가능도(정규, $\sigma$를 MLE로 프로파일)와 가능도비 95% 구간(가로선). 구간은 좁지만 참값을 한참 비켜 간다.

6.3 The Federalist의 “may” — 음이항의 MLE

예제 6.3 (적률법과 최대가능도, 그리고 경계) 4회 예제 6.3에서 Madison의 글 262조각의 may 개수에 음이항을 적률법으로 맞췄다($\hat r=1.23$, $\hat p=0.651$). 최대가능도로 맞추면 $\hat r=1.19$, $\hat p=0.644$이다(두 모수를 수치로 최대화; 평균은 두 방법 모두 $\bar x=0.656$으로 같다). 음이항은 $r\to\infty$에서 Poisson이 되므로 Poisson 대 음이항의 가능도비 $2[\ell_{\mathrm{NB}}-\ell_{\mathrm{Poi}}]=23.3$으로 과산포를 검정할 수 있다. 다만 귀무가설이 모수공간의 경계($1/r=0$)에 있어 Wilks의 정칙조건(R2)이 깨지고, 극한분포는 $\chi^2(1)$이 아니라 $\tfrac12\chi^2_0+\tfrac12\chi^2_1$이다(Self–Liang, 1987). 어느 쪽으로 읽든 $23.3$은 압도적이다.

연습문제

연습 6.1 (군단의 가능도비 ★) 예제 6.1의 $G$를 유도하라. $H_1$의 로그가능도에서 $H_0$의 로그가능도를 빼면 $\sum T_c\log\tfrac{\hat\lambda_c}{\hat\lambda}$만 남는 이유는?

풀이

$\ell_1-\ell_0=\sum_c[T_c\log\hat\lambda_c-20\hat\lambda_c]-\sum_c[T_c\log\hat\lambda-20\hat\lambda]=\sum_cT_c\log\tfrac{\hat\lambda_c}{\hat\lambda}-\bigl(\sum T_c-280\hat\lambda\bigr)$이고 괄호는 0이다. $G=2(\ell_1-\ell_0)=2\sum T_c\log\tfrac{T_c}{20\hat\lambda}=26.1$ ($T_c=0$인 항은 0).

연습 6.2 (Michelson의 $t$-모형 ★★) Michelson 자료에 $t(\nu=4)$ 위치–척도 모형을 MLE로 맞추면 위치의 추정값이 정규의 평균과 얼마나 다른가(노트북)? 6회 8.4절의 가중치 해석으로 설명하라. 그래도 참값과의 차이는 왜 해결되지 않는가?

풀이

$t(4)$ 위치–척도 MLE는 위치 850.9, 척도 63.9이다. 정규의 평균 852.4와 1.5밖에 다르지 않다. 큰 잔차(620이나 1070 같은)는 무게 $\tfrac{\nu+1}{\nu+r^2}$이 작아(620의 무게는 0.29) 영향이 줄지만, 이 자료에서는 그런 관측이 적다. 참값과의 차이 118은 모든 관측에 공통인 계통 오차이므로 어떤 위치 추정량도 고치지 못한다.

연습 6.3 (경계에서의 가능도비 ★★★) $X_i\iid\N(\mu,1)$, $H_0:\mu=0$ 대 $H_1:\mu\ge0$이면 $\hat\mu=\max(\bar X,0)$이고 $2[\ell(\hat\mu)-\ell(0)]=n\bar X^2\,1\{\bar X>0\}$임을 보여라. 그 분포가 $\tfrac12$의 확률로 0, $\tfrac12$의 확률로 $\chi^2(1)$임을 결론지어라.

풀이

$\ell(\mu)=-\tfrac n2(\bar x-\mu)^2+\text{상수}$를 $\mu\ge0$에서 최대화하면 $\hat\mu=\max(\bar x,0)$. $\bar x>0$이면 $2[\ell(\bar x)-\ell(0)]=n\bar x^2$, $\bar x\le0$이면 0이다. $\sqrt n\bar X\sim\N(0,1)$이므로 확률 $\tfrac12$로 0, 확률 $\tfrac12$로 $Z^2\mid Z>0\sim\chi^2(1)$이다.

이 절을 PDF로 보기 (23쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례