11회 · 충분성 · 노트

6 데이터로 — Fisher의 계산과 Newcomb의 빛

6.1 1920년의 계산

정규 표본 $X_i\iid\N(\mu,\sigma^2)$에서 $\sigma$를 재는 두 통계량을 비교한다. 표준편차 $s$와 평균편차 $d=\tfrac1n\sum|X_i-\bar X|$이다. 둘은 척도가 다르므로($E d\approx\sigma\sqrt{2/\pi}$) 로그를 취해 비교한다. $\log s$와 $\log d$의 점근분산의 비가 상대효율이다.

증명 없이 쓰는 사실 (중심을 추정해도 극한은 같다) $F$가 $\mu$에 대해 대칭이고 평균 근처에서 연속이면, $d=\tfrac1n\sum|X_i-\bar X|$와 $\tfrac1n\sum|X_i-\mu|$의 차는 $o_P(n^{-1/2})$이다. 직관은 이렇다. $m\mapsto E|X-m|$의 $m=\mu$에서의 미분은 $2F(\mu)-1=0$이므로, 중심을 $O_P(n^{-1/2})$만큼 잘못 잡아도 평균편차는 그 제곱의 크기로만 변한다. 증명은 경험과정의 논증이 필요해 생략한다. 표준편차에서는 같은 사실이 정확한 계산으로 성립한다(7회 예제 5.5).

명제 6.1 (평균편차의 효율 (Fisher 1920)) 정규 표본에서 $\sqrt n(\log d-\log Ed)$와 $\sqrt n(\log s-\log\sigma)$의 점근분산은 각각 $\tfrac\pi2-1$과 $\tfrac12$이고, 평균편차의 상대효율은

$$\frac{1/2}{\pi/2-1}=\frac1{\pi-2}=0.876$$

이다. 곧 같은 정밀도를 얻으려면 평균편차는 표준편차보다 관측이 $\pi-2=1.14$배 필요하다.

증명 전략 상자의 사실로 $d$를 iid 평균 $\tfrac1n\sum|X_i-\mu|$로 바꾸고, 중심극한정리와 델타 방법을 두 통계량에 각각 쓴다 [T8]. 단계별 증명은 연습 6.4(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$n=100$에서 10만 번 시뮬레이션하면 분산의 비는 약 0.88로 극한값 0.876에 가깝다. Fisher가 옳았다. 다만 그것은 오차가 정규분포를 따른다면의 이야기다. Eddington은 실제 관측에는 가끔 큰 오차가 섞인다는 것을 알고 있었다.

6.2 Newcomb의 빛의 통과 시간 (1882)

예제 6.2 (큰 오차 두 개) Simon Newcomb는 1882년 Potomac 강가의 실험실에서 Washington 기념탑 아래의 거울까지 빛이 갔다 오는 시간(약 7.4 km 왕복)을 66번 쟀다(MASS::newcomb, 24,800나노초에서 뺀 값). 64개는 16에서 40 사이에 있지만 두 개가 $-44$와 $-2$로 동떨어져 있다. 66개 전체의 표준편차는 10.75, 두 값을 빼면 5.08로 절반이 된다. 평균편차로 만든 같은 척도의 추정량 $\sqrt{\pi/2}\,d$는 6.80에서 4.90으로, 덜 변한다. 표본을 다시 뽑아(부트스트랩, 15회) $\log s$와 $\log d$의 분산의 비를 재면, 66개 전체에서 2.48로 평균편차가 훨씬 안정하다. 두 값을 뺀 64개에서는 0.78로, 정규 이론의 0.876 근처로 돌아간다(그림 6.1).

표준편차는 정규 모형 아래에서 충분하다. 모형이 맞지 않으면 충분성은 아무것도 보장하지 않는다. 큰 오차 하나가 $\sum X_i^2$을 지배하고, 표준편차는 그 하나를 정직하게 따라간다. 7절은 “정규에 아주 조금 섞인 큰 오차”만으로 순서가 뒤집힘을 보인다. 15회의 로버스트 통계가 Newcomb의 자료에서 다시 시작한다(Stigler 1977).

그림 6.1 Eddington 대 Fisher. 왼쪽: 정규 표본($n=100$)에서 $\log s$와 $\log d$의 표본분포(가운데를 맞춤). 평균편차가 조금 더 넓다(분산의 비 0.876). 가운데: Newcomb의 66번 측정. 빨간 점은 동떨어진 두 값. 오른쪽: 오염 정규 $(1-\varepsilon)\N(0,\allowbreak 1)+\varepsilon\N(0,\allowbreak 9)$에서 평균편차의 상대효율. $\varepsilon=0.0018$에서 1을 넘는다(7절).

6.3 기병대와 독일 전차

예제 6.3 (세 추정량의 비교) 기병대 자료의 $P(X=0)$ 추정값은 UMVUE $(279/280)^{196}=0.4960$, MLE $e^{-0.7}=0.4966$, 관측 비율 $0.514$이다. 앞의 둘은 $n=280$에서 사실상 같고, 셋째(9회 연습 1.4의 비교)는 Poisson 모형을 쓰지 않은 추정이다. 모형을 쓰면 표준오차가 줄지만(관측 비율의 $\sqrt{0.514\cdot0.486/280}=0.030$ 대 UMVUE의 $\sqrt{e^{-2\lambda}(e^{\lambda/n}-1)}=0.025$), 모형이 틀리면 치우친다. 이 자료에서 0.018의 차이는 표준오차보다 작아 우연으로 설명되지만, 군단 사이의 이질성(4회 $\chi^2=27.3$, 9회 $G=26.1$)은 Poisson 모형의 가정 자체를 의심하게 한다.

독일 전차에서 Rao–Blackwell화의 효과는 그림 6.2에 있다. 같은 다섯 개의 일련번호에서, 평균을 쓰는 적률법보다 최댓값을 쓰는 UMVUE가 표준편차 77 대 50으로 훨씬 좁다. 3절의 결론대로 최댓값 쪽은 모든 불편추정량 가운데 최선이다.

그림 6.2 Rao–Blackwell화. 왼쪽: Poisson($\lambda=0.7$, $n=20$)에서 $e^{-\lambda}$의 두 불편추정량. 관측 하나의 지시함수 $1\{X_1=0\}$(0과 1, 회색 막대)에 $\sum X_i$로 조건을 건 $(1-1/n)^T$(파랑)는 분산이 28분의 1이다. 점선은 참값. 오른쪽: 독일 전차($N=300$, $k=5$). 적률법 $2\bar X-1$(파랑)과 그것에 최댓값으로 조건을 건 UMVUE $\tfrac{k+1}kM-1$(빨강).

연습문제

연습 6.1 (평균편차의 적률 ★) $Z\sim\N(0,1)$이면 $E|Z|=\sqrt{2/\pi}$, $\Var|Z|=1-\tfrac2\pi$임을 보이고 명제 6.1의 $\tfrac\pi2-1$을 확인하라.

풀이

$E|Z|=2\int_0^\infty z\varphi(z)dz=2\varphi(0)=\sqrt{2/\pi}$, $\Var|Z|=EZ^2-(E|Z|)^2=1-\tfrac2\pi$. 비는 $\tfrac{1-2/\pi}{2/\pi}=\tfrac\pi2-1$.

연습 6.2 (Laplace 오차에서는 ★★) 오차가 Laplace(이중지수) 분포이면 평균편차의 상대효율이 1보다 큼을 보여라. ($\mu_4/\sigma^4=6$, $E|X|=b$, $E X^2=2b^2$.) 4회의 Laplace(1774)는 이 분포에서 중앙값을 권했다.

풀이

명제 7.1의 식으로 $\tfrac14(6-1)=1.25$와 $\tfrac{2b^2}{b^2}-1=1$이므로 효율은 1.25다. Laplace 오차에서는 평균편차가 표준편차보다 낫다. 꼬리가 두꺼우면 제곱이 큰 오차에 너무 큰 무게를 준다.

연습 6.3 (Newcomb의 부트스트랩 ★) 노트북에서 Newcomb 자료의 부트스트랩 분산 비 2.48과 0.78을 재현하라. 두 값만 뺐는데 왜 이렇게 달라지는가?

풀이

66개의 제곱합 $\sum(x_i-\bar x)^2=65\cdot10.75^2\approx7505$ 가운데 $-44$와 $-2$ 두 값이 약 5,700(76%)을 차지한다. 부트스트랩 표본마다 이 두 값이 뽑히는 횟수가 0, 1, 2, …로 달라지므로 $s$가 크게 흔들린다. 평균편차는 거리를 제곱하지 않아 덜 흔들린다. 두 값을 빼면 자료가 정규에 가까워 0.78(정규 이론 0.876)이 된다.

연습 6.4 (평균편차의 효율: 증명 ★★ 유도형) 명제 6.1를 다음 순서로 증명하라. 상자의 사실을 받아들여 $d$ 대신 $\tilde d=\tfrac1n\sum|X_i-\mu|$를 쓴다.

1. (a)

   $E|X-\mu|=\sigma\sqrt{2/\pi}$, $\Var|X-\mu|=\sigma^2(1-\tfrac2\pi)$임을 연습 6.1에서 가져오고, 중심극한정리(7회 정리 3.1)로 $\sqrt n(\tilde d-E\tilde d)$의 극한분포를 적어라.

2. (b)

   델타 방법(7회 정리 4.4)을 $g(u)=\log u$에 써서 $\sqrt n(\log\tilde d-\log E\tilde d)$의 점근분산이 $\tfrac\pi2-1$임을 보여라.

3. (c)

   $S^2$의 점근분산 $\mu_4-\sigma^4=2\sigma^4$(7회 예제 5.5)에 $g(u)=\tfrac12\log u$로 델타 방법을 써서 $\log s$의 점근분산 $\tfrac12$를 얻어라.

4. (d)

   두 점근분산의 비로 상대효율 $\tfrac1{\pi-2}$를 얻고, 같은 정밀도에 필요한 관측 수의 비로 읽어라.

풀이

(a) $|X_i-\mu|$들은 iid이고 평균 $\sigma\sqrt{2/\pi}$, 분산 $\sigma^2(1-\tfrac2\pi)$이다(연습 6.1에 $Z=(X-\mu)/\sigma$). 중심극한정리로 $\sqrt n(\tilde d-\sigma\sqrt{2/\pi})\to\N\bigl(0,\allowbreak \sigma^2(1-\tfrac2\pi)\bigr)$이다. (b) $g(u)=\log u$, $g'(u)=1/u$이므로 델타 방법으로 점근분산은 $\dfrac{\sigma^2(1-2/\pi)}{\sigma^2\cdot2/\pi}=\dfrac\pi2-1$이다. 척도 $\sigma$가 약분되므로 $\log$를 취해 비교하는 것이 공정하다. (c) $\sqrt n(S^2-\sigma^2)\to\N(0,\allowbreak 2\sigma^4)$이고 $g(u)=\tfrac12\log u$, $g'(\sigma^2)=\tfrac1{2\sigma^2}$이므로 점근분산은 $\tfrac1{4\sigma^4}\cdot2\sigma^4=\tfrac12$이다. (d) 상대효율은 $\dfrac{1/2}{\pi/2-1}=\dfrac1{\pi-2}=0.876$이다. 점근분산이 $v/n$이면 같은 분산을 얻는 데 드는 관측 수는 $v$에 비례하므로, 평균편차는 표준편차보다 관측이 $\pi-2=1.14$배 필요하다.

이 절을 PDF로 보기 (21쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례