11회 · 충분성 · 노트

7 부숴보기 — 큰 오차와 터무니없는 UMVUE

7.1 조금 섞인 큰 오차 (Tukey 1960)

John Tukey는 1960년 대부분은 정규이고 가끔 큰 오차가 섞이는 모형을 썼다.

$$X\sim(1-\varepsilon)\N(0,1)+\varepsilon\N(0,9).$$

$\varepsilon$의 확률로 표준편차가 세 배인 관측이 나온다. 그는 이 모형에서 평균편차와 표준편차를 다시 비교했다.

명제 7.1 (오염 정규에서의 효율) 대칭분포에서 $\log s$와 $\log d$의 점근분산은 $\tfrac14\bigl(\tfrac{\mu_4}{\mu_2^2}-1\bigr)$과 $\tfrac{\mu_2}{\nu_1^2}-1$이다($\mu_k=EX^k$, $\nu_1=E|X|$). 위 모형에서는 $\mu_2=1+8\varepsilon$, $\mu_4=3(1+80\varepsilon)$, $\nu_1=\sqrt{2/\pi}\,(1+2\varepsilon)$이고, 평균편차의 상대효율은

$\varepsilon$	0	0.001	0.002	0.01	0.05	0.1
효율	0.876	0.948	1.016	1.439	2.035	1.903

이다. $\varepsilon=0.0018$에서 1을 넘는다.

증명 전략 명제 6.1의 증명을 일반 대칭분포에서 되풀이하고, 혼합분포의 적률을 성분 적률의 가중평균(4회 정리 5.2)으로 구한다. 단계별 증명은 연습 7.4(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

1,000개 가운데 두 개만 큰 오차여도 Eddington이 이긴다. 표준편차의 충분성은 정규 모형이 정확히 맞을 때의 성질이고, 그 성질은 모형의 작은 어긋남에 아주 민감하다. 이 관찰이 Tukey와 Huber(1964)의 로버스트 통계를 낳았다(15회). 그림 6.1의 오른쪽이 이 곡선이다.

7.2 터무니없는 UMVUE

예제 7.2 (음수가 되는 확률의 추정량) 관측 하나 $X\sim\mathrm{Poi}(\lambda)$로, 두 해 연속 아무도 죽지 않을 확률 $\tau(\lambda)=e^{-2\lambda}$를 추정한다. $X$는 완비충분이고

$$E_\lambda(-1)^X=e^{-\lambda}\sum_{x}\frac{(-\lambda)^x}{x!}=e^{-2\lambda}$$

이므로 Lehmann–Scheffé로 $(-1)^X$가 유일한 UMVUE다. 그런데 이것은 $X$가 짝수이면 1, 홀수이면 $-1$이다. $(0,1)$ 사이의 확률을 1이나 $-1$로 추정한다. 평균제곱오차는 $1-e^{-4\lambda}$로 $\lambda=0.7$에서 0.94인데, 치우친 MLE $e^{-2X}$는 0.29다(그림 7.1).

이 예는 Lehmann–Scheffé 정리가 틀렸다는 뜻이 아니다. 불편추정량이 하나뿐이면 그것이 최선의 불편추정량이다. 그러나 “불편”이라는 조건 자체가 그 하나를 강요했다. 관측이 $n$개이면 UMVUE는 $(1-\tfrac2n)^T$로(연습 7.2), $n\ge3$이면 0과 1 사이에 머문다. 불편성은 큰 표본에서는 거의 공짜지만 작은 표본에서는 비쌀 수 있다.

그림 7.1 왼쪽: $X\sim\mathrm{Poi}(\lambda)$ 하나로 추정한 $e^{-2\lambda}$(점선). UMVUE $(-1)^X$의 값은 $\pm1$뿐이고(막대의 높이는 그 확률), MLE $e^{-2X}$는 $(0,1]$에 있다. 오른쪽: 두 추정량의 평균제곱오차.

7.3 불편추정량이 없을 때

$K\sim\mathrm b(n,p)$이면 아무 통계량 $g(K)$의 평균 $\sum_kg(k)\binom nkp^k(1-p)^{n-k}$은 $p$의 $n$차 이하 다항식이다. 따라서 $1/p$나 오즈 $p/(1-p)$처럼 다항식이 아닌 $\tau(p)$에는 불편추정량이 하나도 없다(연습 7.3). 9회의 로그 오즈 $\log\tfrac{\hat p}{1-\hat p}$는 불편이 아니어도 점근적으로 효율적이었다. 불편성은 출발점일 뿐이다.

연습문제

연습 7.1 (오염 정규의 효율 ★★) 명제 7.1의 적률을 확인하고, 효율이 1이 되는 $\varepsilon$이 0.0018임을 노트북으로 구하라. $\varepsilon$이 커지면 효율이 다시 줄어드는 이유는?

풀이

혼합의 적률은 성분 적률의 가중평균이다: $\mu_2=1+8\varepsilon$, $\mu_4=3+240\varepsilon$, $\nu_1=\sqrt{2/\pi}(1+2\varepsilon)$. 이 식에서 효율 $=1$을 풀면 $\varepsilon=0.0018$이다. $\varepsilon$이 크면 큰 오차가 더 이상 드물지 않아 분포가 다시 “넓은 정규”에 가까워지므로, $\varepsilon\to1$에서 효율이 0.876으로 돌아간다. 그 사이 $\varepsilon\approx0.05$ 근처에서 가장 크다.

연습 7.2 (관측이 $n$개이면 ★★) $X_i\iid\mathrm{Poi}(\lambda)$에서 $e^{-2\lambda}$의 UMVUE가 $(1-\tfrac2n)^T$임을 보여라. $n=1$과 $n=2$에서 각각 무엇이 되는가?

풀이

$T\sim\mathrm{Poi}(n\lambda)$이므로 $E(1-\tfrac2n)^T=e^{n\lambda(-2/n)}=e^{-2\lambda}$이고, 완비충분통계량의 함수이므로 UMVUE다. $n=1$이면 $(-1)^X$, $n=2$이면 $0^T=1\{T=0\}$(두 관측이 모두 0이면 1)이다.

연습 7.3 (불편추정량이 없다 ★★) $K\sim\mathrm b(n,p)$일 때 $1/p$의 불편추정량이 없음을 보여라.

풀이

$E_pg(K)$는 $p$의 $n$차 이하 다항식이므로 $(0,1)$에서 유계다. $1/p$는 $p\to0$에서 무한대로 가므로 어떤 다항식과도 같을 수 없다.

연습 7.4 (오염 정규에서의 효율: 증명 ★★ 유도형) 명제 7.1를 다음 순서로 증명하라. $X$는 0에 대해 대칭이고 $\mu_4<\infty$이다.

1. (a)

   $\tfrac1n\sum X_i^2$의 점근분산이 $\mu_4-\mu_2^2$임을 보이고, 델타 방법으로 $\log s$의 점근분산 $\tfrac14\bigl(\tfrac{\mu_4}{\mu_2^2}-1\bigr)$을 얻어라. (중심을 추정하는 영향은 6절의 상자처럼 무시한다.)

2. (b)

   $\tfrac1n\sum|X_i|$에 같은 방법을 써서 $\log d$의 점근분산 $\tfrac{\Var|X|}{\nu_1^2}=\tfrac{\mu_2}{\nu_1^2}-1$을 얻어라.

3. (c)

   혼합 $(1-\varepsilon)\N(0,\allowbreak 1)+\varepsilon\N(0,\allowbreak 9)$의 $\mu_2$, $\mu_4$, $\nu_1$을 4회 정리 5.2로 구하라. $\N(0,\sigma^2)$의 $EX^4=3\sigma^4$, $E|X|=\sigma\sqrt{2/\pi}$를 쓴다.

4. (d)

   $\varepsilon=0$에서 명제 6.1의 0.876이 다시 나옴을 확인하라.

풀이

(a) 대칭이면 $EX=0$이고, $X_i^2$들은 iid로 평균 $\mu_2$, 분산 $\mu_4-\mu_2^2$이다. 중심극한정리로 $\sqrt n(\tfrac1n\sum X_i^2-\mu_2)\to\N(0,\allowbreak \mu_4-\mu_2^2)$이고, $g(u)=\tfrac12\log u$로 델타 방법을 쓰면 점근분산은 $\tfrac1{4\mu_2^2}(\mu_4-\mu_2^2)=\tfrac14\bigl(\tfrac{\mu_4}{\mu_2^2}-1\bigr)$이다. (b) $|X_i|$들은 평균 $\nu_1$, 분산 $\mu_2-\nu_1^2$이므로 $g(u)=\log u$로 점근분산은 $\tfrac{\mu_2-\nu_1^2}{\nu_1^2}=\tfrac{\mu_2}{\nu_1^2}-1$이다. (c) 혼합의 기댓값은 성분 기댓값의 가중평균이다. $\N(0,1)$과 $\N(0,9)$에서 $EX^2$은 1과 9, $EX^4$는 3과 $3\cdot81$, $E|X|$는 $\sqrt{2/\pi}$와 $3\sqrt{2/\pi}$이므로

$$\mu_2=1+8\varepsilon,\qquad\mu_4=3(1-\varepsilon)+243\varepsilon=3(1+80\varepsilon),\qquad\nu_1=\sqrt{2/\pi}\,(1+2\varepsilon) .$$

(d) $\varepsilon=0$이면 (a)는 $\tfrac14(3-1)=\tfrac12$, (b)는 $\tfrac1{2/\pi}-1=\tfrac\pi2-1$이므로 비는 $\tfrac1{\pi-2}=0.876$이다.

이 절을 PDF로 보기 (26쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례