15회 · 가정이 틀리면 · 노트

3 로버스트 추정 (1960–1974)

역사 1960년 Tukey는 정규분포에 표준편차가 세 배인 정규를 조금 섞은 분포에서 여러 추정량을 비교했다. 섞는 비율이 1%만 되어도 표본평균은 최선의 자리를 잃었다(11회 7절의 $\varepsilon^*=0.0018$은 그 극단이다). 1964년 취리히의 Peter Huber는 위치모수의 로버스트 추정에서 질문을 뒤집었다. 오염의 비율만 알고 꼴은 모를 때, 최악의 경우의 분산이 가장 작은 추정량은 무엇인가? 답은 가운데서는 평균처럼, 바깥에서는 중앙값처럼 행동하는 추정량이었다. Frank Hampel(1968, 1974)은 관측 하나가 추정량을 얼마나 움직이는지 재는 영향함수와, 추정량이 무너지기 전에 견딜 수 있는 오염의 비율인 붕괴점을 정의했다. 1972년 Princeton의 대규모 모의실험은 68개의 추정량을 비교했고, Robert Hogg(1974)는 자료의 꼬리 모양을 보고 추정량을 고르는 적응적 방법을 내놓았다.

3.1 M-추정

정의 3.1 (M-추정량) 함수 $\psi$와 척도 $s>0$에 대해 $\sum_{i=1}^n\psi\bigl((X_i-\theta)/s\bigr)=0$의 해 $\hat\theta$를 M-추정량이라 한다. $\psi(u)=u$이면 평균, $\psi(u)=\mathrm{sign}(u)$이면 중앙값이고,

$$\psi_k(u)=\max\bigl(-k,\ \min(k,u)\bigr)$$

이면 Huber 추정량이다. 척도는 보통 중앙절대편차를 $0.6745$로 나눈 값(정규분포에서 $\sigma$의 일치추정량)으로 미리 정한다.

Huber 추정량은 표준화한 잔차가 $\pm k$ 안이면 평균처럼 값을 그대로 쓰고, 밖이면 $\pm k$로 잘라 쓴다. MLE는 $\psi=-(\log f)^\prime$인 M-추정량이다(9회). 그래서 Huber 추정량은 가운데는 정규, 꼬리는 Laplace인 밀도의 MLE이기도 하다.

정리 3.2 (M-추정량의 점근정규성) 척도를 1로 알고, $F$가 0에 대해 대칭이며, $\psi$가 홀함수이고 단조증가하며 거의 어디서나 미분가능하고, $E\psi(X)^2<\infty$, $0<E\psi^\prime(X)<\infty$라 하자. 그러면 $\theta=0$에서

$$\sqrt n\,\hat\theta\ \xrightarrow{D}\ \N\Bigl(0,\ V(\psi,F)\Bigr),\qquad V(\psi,F)=\frac{E\psi(X)^2}{\bigl(E\psi^\prime(X)\bigr)^2}.$$

증명 전략 9회 정리 3.1의 증명에서 점수함수 자리에 $\psi$를 둔다. $\Psi_n(t)=\tfrac1n\sum_i\psi(X_i-t)$의 영점을 0 둘레에서 전개해 $\sqrt n\,\hat\theta$를 분자와 분모의 비로 쓰고 [T8], 분자는 중심극한정리로, 분모는 대수의 법칙으로 다룬 뒤 Slutsky 정리로 합친다.

1. $\psi$가 단조증가이므로 $\Psi_n(t)$는 $t$에 대해 감소하고, $\hat\theta$는 그 영점이다.정의 3.1

2. $\lambda(t)=E\psi(X-t)$로 두면 $\lambda(0)=0$이고($\psi$가 홀함수, $F$가 대칭) $\lambda^\prime(0)=-E\psi^\prime(X)<0$이다. 그래서 작은 $\varepsilon>0$에서 $\lambda(\varepsilon)<0<\lambda(-\varepsilon)$이다.대칭, 적분 기호 아래 미분 [T6]

3. $\Psi_n(\pm\varepsilon)\xrightarrow{P}\lambda(\pm\varepsilon)$이므로 $P\bigl(\Psi_n(\varepsilon)<0<\Psi_n(-\varepsilon)\bigr)\to1$이다. 그 사건 위에서 $|\hat\theta|<\varepsilon$이므로 $\hat\theta\xrightarrow{P}0$이다.Khinchin(7회 정리 1.6), 1

4. $A_n=\tfrac1n\sum_i\psi^\prime(X_i)$로 두면, $0$과 $\hat\theta$ 사이의 $\xi_n$이 있어

   $$0=\Psi_n(\hat\theta)=\Psi_n(0)-\hat\theta A_n+\tfrac12\hat\theta^2B_n,\qquad B_n=\tfrac1n\textstyle\sum_i\psi^{\prime\prime}(X_i-\xi_n) .$$

   Taylor [T8]

5. 정리하면

   $$\sqrt n\,\hat\theta=\frac{\tfrac1{\sqrt n}\sum_i\psi(X_i)}{A_n-\tfrac12\hat\theta B_n} .$$

   4

6. 분자: $\psi(X_i)$는 평균 0($\lambda(0)=0$), 분산 $E\psi(X)^2$인 iid이므로 $\tfrac1{\sqrt n}\sum\psi(X_i)\xrightarrow{D}\N(0,\allowbreak E\psi^2)$이다.중심극한정리, 7회 정리 3.1

7. 분모: $A_n\xrightarrow{P}E\psi^\prime(X)>0$이고, $|\tfrac12\hat\theta B_n|\le\tfrac12|\hat\theta|\sup|\psi^{\prime\prime}|\xrightarrow{P}0$이다.Khinchin(7회 정리 1.6), 3

8. 극한은 $\tfrac1{E\psi^\prime}\N(0,\allowbreak E\psi^2)=\N\bigl(0,\allowbreak V(\psi,\allowbreak F)\bigr)$이다.Slutsky, 7회 정리 4.2

조건 확인 2의 미분은 $\psi$가 거의 어디서나 미분가능하고 $E\psi^\prime(X)<\infty$인 데서 지배수렴으로 정당화된다 [T6]. 4와 7은 $\psi$가 두 번 미분가능하고 $\psi^{\prime\prime}$가 유계라고 쓴 것이다. 9회 정리 3.1의 5와 같은 자리다. Huber의 $\psi_k$는 $\pm k$에서 꺾이므로 이 조건을 만족하지 않는다. 그때는 $\psi$의 단조성으로 나머지를 다룬다(Huber 1964). 이 부분은 증명 없이 쓴다.

예제 3.3 (오염 정규에서의 점근분산) $(1-\varepsilon)\N(0,\allowbreak 1)+\varepsilon\N(0,\allowbreak 9)$에서 $nV$를 정확히 적분하면

$\varepsilon$	평균	중앙값	10% 절사평균	Huber ($k=1.345$)
0	1.000	1.571	1.060	1.053
0.05	1.400	1.681	1.169	1.169
0.10	1.800	1.803	1.296	1.299

이다. 정규분포에서 Huber 추정량은 평균의 95% 효율을 갖고($1/1.053$), 오염이 5%면 평균보다 17% 낫다. 중앙값은 정규에서 36%를 잃지만 오염이 커지면 평균을 따라잡는다. $k=1.345$는 정규에서 효율이 정확히 0.95가 되도록 고른 값이다.

증명 없이 쓰는 사실 (Huber의 최소최대 정리 (1964)) $F=(1-\varepsilon)\Phi+\varepsilon H$ ($H$는 아무 대칭 분포) 꼴의 모든 분포 가운데 최악의 점근분산을 가장 작게 하는 M-추정량은 $\psi_k$이고, $k$는 $\tfrac{2\phi(k)}k-2\Phi(-k)=\tfrac\varepsilon{1-\varepsilon}$으로 정해진다. $\varepsilon=0.01,\allowbreak \ 0.05,\allowbreak \ 0.10$이면 $k=1.945,\ 1.398,\ 1.140$이다. 최악의 분포는 가운데가 정규이고 꼬리가 지수적으로 줄어드는 분포다.

3.2 영향함수와 붕괴점

정의 3.4 (영향함수) 추정량을 분포의 함수 $T(F)$로 쓸 때, 점 $x$에 질량 $t$를 더한 분포 $F_t=(1-t)F+t\delta_x$에 대해

$$\mathrm{IF}(x;T,F)=\lim_{t\downarrow0}\frac{T(F_t)-T(F)}t$$

를 영향함수라 한다. 관측 하나가 $x$에 더해질 때 추정량이 움직이는 양의 $n$배쯤이다.

명제 3.5 (M-추정량의 영향함수) 정리 3.2의 조건에서 $\mathrm{IF}(x;T,\allowbreak F)=\psi(x-T(F))/E\psi^\prime(X-T(F))$이다. 따라서 평균의 영향함수는 $x-\mu$로 유계가 아니고, 중앙값은 $\mathrm{sign}(x-m)/(2f(m))$, Huber 추정량은 $\psi_k(x-\theta)/(2\Phi(k)-1)$로 유계다. 그리고 $E\,\mathrm{IF}(X)^2=V(\psi,F)$이다.

증명 전략 $T_t=T(F_t)$가 만족하는 추정 방정식을 $t$로 미분하고 $t=0$을 넣는다(음함수 미분). 마지막 식은 영향함수의 정의를 정리 3.2의 $V$에 넣어 비교한다. 단계별 증명은 연습 3.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

그림 3.1 왼쪽: 표준정규에서의 영향함수. 평균은 직선(유계가 아님), Huber는 $\pm k$에서 잘린 직선, 중앙값은 계단이다. 오른쪽: Newcomb의 자료에서 가장 큰 오차($-44$, 점선)를 $x$로 바꿔 넣을 때 네 추정량이 움직이는 모양(민감도 곡선). 평균만 끝없이 따라간다.

영향함수는 3절의 모든 이야기를 한 그림에 담는다(그림 3.1). 평균은 이상치 하나에 끝없이 끌려가고, Huber 추정량과 중앙값은 일정한 양 이상 끌려가지 않는다. 그리고 점근분산은 영향함수의 제곱의 평균이다. 이상치에 둔감할수록, 정규 자료에서는 조금씩 정보를 버린다.

정의 3.6 (붕괴점) 표본 $n$개 가운데 $k$개를 마음대로 바꿔 추정량을 원하는 만큼 멀리 보낼 수 있는 가장 작은 $k$를 $k^*$라 할 때 $k^*/n$을 유한 표본 붕괴점이라 한다.

명제 3.7 (세 추정량의 붕괴점) 표본평균의 붕괴점은 $1/n$, 표본중앙값은 $\lceil n/2\rceil/n$ (곧 $1/2$ 근처), 양쪽에서 $\lfloor\alpha n\rfloor$개씩 자른 절사평균은 $(\lfloor\alpha n\rfloor+1)/n$이다.

증명 전략 추정량마다 두 가지를 보인다. $k^*$개를 바꾸면 추정량을 끝없이 보낼 수 있다는 것, 그보다 적게 바꾸면 추정량이 원래 표본의 최솟값과 최댓값 사이에 묶인다는 것이다. 단계별 증명은 연습 3.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 3.8 (Newcomb의 66번) Newcomb의 통과 시간(24,800나노초에서 뺀 값)에는 $-44$와 $-2$의 두 큰 오차가 있다. 여러 추정량은

$$\begin{gather*} \text{평균 }26.21,\qquad\text{중앙값 }27.0,\qquad\text{10\% 절사평균 }27.43,\\ \text{Huber }27.38,\qquad\text{Hodges–Lehmann }27.5 \end{gather*}$$

이다. 로버스트 추정량들은 서로 0.5 안에서 일치하고 평균만 1 넘게 떨어져 있다. 부트스트랩 표준오차(5절)는 평균이 1.32, 중앙값과 절사평균이 0.68로, 로버스트 추정량이 두 배 정밀하다. 그러나 오늘의 값으로 옮긴 참값은 33.02다(Stigler 1977). 어느 추정량도 5 넘게 빗나갔다. 4절의 주제다.

연습문제

연습 3.1 (Huber 추정량은 MLE다 ★) $f(u)\propto\exp(-\rho_k(u))$, $\rho_k(u)=u^2/2$ ($|u|\le k$), $k|u|-k^2/2$ ($|u|>k$)의 위치모수 MLE가 Huber 추정량임을 보여라.

풀이

$-\log L(\theta)=\sum\rho_k(x_i-\theta)+$상수이고 $\rho_k$는 볼록하며 $\rho_k^\prime=\psi_k$이다. 최소점의 조건은 $\sum\psi_k(x_i-\theta)=0$이다.

연습 3.2 (정규에서의 Huber 효율 ★★) $\N(0,1)$에서 $E\psi_k^\prime=2\Phi(k)-1$, $E\psi_k^2=2\Phi(k)-1-2k\phi(k)+2k^2\Phi(-k)$임을 보이고, $k=1.345$에서 효율 $1/V=0.95$를 확인하라.

풀이

$\psi_k^\prime=\mathbf 1\{|u|<k\}$이므로 $E\psi_k^\prime=2\Phi(k)-1$. $E\psi_k^2=\int_{-k}^ku^2\phi+2k^2\Phi(-k)$이고 $\int_{-k}^ku^2\phi=2\Phi(k)-1-2k\phi(k)$ (부분적분). $k=1.345$에서 $E\psi_k^\prime=0.8214$, $E\psi_k^2=0.7102$, $V=1.0526$, 효율 $0.950$.

연습 3.3 (중앙값의 영향함수 ★★) $T(F)=F^{-1}(1/2)$에 대해 $F_t$의 중앙값을 직접 계산해 $\mathrm{IF}(x)=\mathrm{sign}(x-m)/(2f(m))$을 보이고, $E\,\mathrm{IF}^2$이 8회 정리 1.4의 점근분산 $1/(4f(m)^2)$임을 확인하라.

풀이

$x>m$이면 $F_t$의 중앙값 $m_t$는 $(1-t)F(m_t)=\tfrac12$를 풀므로 $F(m_t)=\tfrac1{2(1-t)}\approx\tfrac12+\tfrac t2$, 곧 $m_t\approx m+\tfrac t{2f(m)}$. $x<m$이면 $(1-t)F(m_t)+t=\tfrac12$에서 $m_t\approx m-\tfrac t{2f(m)}$. $\mathrm{IF}^2=1/(4f(m)^2)$로 상수이므로 평균도 같다.

연습 3.4 (붕괴점 ★) $n=66$인 Newcomb의 자료에서 평균, 중앙값, 10% 절사평균의 붕괴점을 구하라. 큰 오차가 몇 개까지면 10% 절사평균이 그것을 모두 버리는가?

풀이

평균 $1/66$, 중앙값 $33/66=0.5$. 10% 절사평균은 양쪽에서 $\lfloor6.6\rfloor=6$개씩 자르므로 붕괴점은 $7/66=0.106$이고, 한쪽의 큰 오차가 6개까지는 모두 잘려 나간다. Newcomb의 두 오차는 넉넉히 버려진다.

연습 3.5 (M-추정량의 영향함수: 증명 ★★ 유도형) 명제 3.5를 다음 순서로 증명하라. $T=T(F)$, $T_t=T(F_t)$로 쓴다.

1. (a)

   $T_t$가 $(1-t)\int\psi(y-T_t)\,dF(y)+t\,\psi(x-T_t)=0$을 만족함을 M-추정량의 정의에서 보여라.

2. (b)

   (a)를 $t$로 미분하고 $t=0$을 넣어 $T^\prime=\psi(x-T)/E\psi^\prime(X-T)$를 얻어라. $\int\psi(y-T)\,dF=0$을 어디서 쓰는가? (미분과 적분의 교환은 [T6]의 조건으로 확인한다.)

3. (c)

   중앙값($\psi=\mathrm{sign}$)에서는 $\psi^\prime$이 없다. $E\psi^\prime(X-t)$ 대신 $-\tfrac{d}{dt}E\,\mathrm{sign}(X-t)=2f(t)$를 쓰면 $\mathrm{IF}=\mathrm{sign}(x-m)/(2f(m))$이 됨을 보여라. Huber 추정량의 분모 $2\Phi(k)-1$도 구하라($F=\Phi$).

4. (d)

   $E\,\mathrm{IF}(X)^2=V(\psi,F)$임을 보여라.

풀이

(a) $T(G)$는 $\int\psi(y-T(G))\,dG(y)=0$의 해로 정의된다. $G=F_t=(1-t)F+t\delta_x$를 넣으면 $\int\psi\,dF_t=(1-t)\int\psi(y-T_t)\,dF(y)+t\,\psi(x-T_t)$이다. (b) (a)의 식을 $t$로 미분하면

$$-\int\psi(y-T_t)\,dF(y)-(1-t)\,T_t^\prime\!\int\psi^\prime(y-T_t)\,dF(y)+\psi(x-T_t)-t\,T_t^\prime\psi^\prime(x-T_t)=0$$

이다. $t=0$을 넣으면 $T_0=T$이고 첫 항은 $T$의 정의로 0이므로 $T^\prime=\psi(x-T)/E\psi^\prime(X-T)$이다. 둘째 항의 미분과 적분의 교환은 $\psi^\prime$이 유계이면 지배수렴으로 정당하다([T6]). (c) $\psi=\mathrm{sign}$이면 $E\,\mathrm{sign}(X-t)=1-2F(t)$이므로 $-\tfrac{d}{dt}E\,\mathrm{sign}(X-t)=2f(t)$이고, (b)의 분모 자리에 이것을 넣으면 $\mathrm{IF}=\mathrm{sign}(x-m)/(2f(m))$이다. Huber는 $\psi_k^\prime=\mathbf 1\{|u|<k\}$이므로 $E\psi_k^\prime(X)=P(|X|<k)=2\Phi(k)-1$이다. (d) $E\,\mathrm{IF}(X)^2=E\psi(X-T)^2/(E\psi^\prime)^2=V(\psi,\allowbreak F)$이다(정리 3.2의 $V$).

연습 3.6 (세 추정량의 붕괴점: 증명 ★★ 유도형) 명제 3.7를 증명하라. 표본 $x_1,\dots,x_n$을 고정하고 $k$개를 마음대로 바꾼 표본을 $y$라 한다.

1. (a)

   평균: $k=1$로 $\bar y$를 원하는 만큼 멀리 보낼 수 있음을 보여라.

2. (b)

   중앙값($n$이 홀수, $n=2r-1$): $k\le r-1$이면 $y$의 중앙값이 원래 표본의 최솟값과 최댓값 사이에 있음을 보여라. (바뀌지 않은 값이 $r$개 이상 남는다. 중앙값보다 작거나 같은 값이 $r$개, 크거나 같은 값이 $r$개다.) $k=r$이면 끝없이 보낼 수 있음을 보여라.

3. (c)

   절사평균: 양쪽에서 $g=\lfloor\alpha n\rfloor$개씩 자를 때, $k\le g$이면 남는 값이 모두 원래 표본의 최솟값과 최댓값 사이에 있음을, $k=g+1$이면 그렇지 않음을 보여라.

풀이

(a) $x_1$을 $y_1=x_1+c$로 바꾸면 $\bar y=\bar x+c/n$이고 $c$는 마음대로다. 따라서 $k^*=1$이다. (b) $n=2r-1$이면 중앙값은 $r$번째 순서통계량이다. $k\le r-1$개만 바꾸면 바뀌지 않은 원래 값이 $n-k\ge r$개 남는다. 이 값들은 모두 $\max x$ 이하이므로 $y$에서 $\max x$ 이하인 값이 $r$개 이상이고, $y_{(r)}\le\max x$이다. 같은 방법으로 $y_{(r)}\ge\min x$이다. $k=r$이면 $r$개를 모두 아주 큰 값 $c$로 바꿔 $y_{(r)}=c$로 만들 수 있다. 붕괴점은 $r/n=\lceil n/2\rceil/n$이다. (c) $k\le g$이면 $\min x$보다 작은 $y$값은 기껏 $k\le g$개이므로 $y_{(g+1)}\ge\min x$이고, 같은 방법으로 $y_{(n-g)}\le\max x$이다. 남는 값 $y_{(g+1)},\dots,y_{(n-g)}$는 모두 $[\min x,\max x]$에 있다. $k=g+1$이면 $g+1$개를 큰 값 $c$로 바꿔 $y_{(n-g)}=c$로 만들 수 있고 절사평균은 $c/(n-2g)$ 이상으로 커진다. 붕괴점은 $(g+1)/n$이다.

이 절을 PDF로 보기 (13쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례