15회 · 가정이 틀리면 · 노트

5 부트스트랩 (1949–1979)

역사 로버스트 추정량에는 곤란한 점이 하나 있었다. 표준오차의 공식이 분포에 의존한다는 것이다. 정리 3.2의 $V(\psi,F)$에는 모르는 $F$가 들어 있다. Maurice Quenouille(1949)는 관측을 하나씩 빼고 다시 계산해 치우침을 줄이는 방법을 냈고, Tukey(1958)는 그것으로 분산까지 재며 “잭나이프”(무엇에든 쓰는 주머니칼)라 불렀다. 1979년 Bradley Efron은 Annals of Statistics에서 더 단순하고 더 일반적인 생각을 내놓았다. 모르는 $F$를 경험분포 $\hat F_n$으로 바꾸고, $\hat F_n$에서 표본을 다시 뽑아 추정량의 분포를 컴퓨터로 만든다. 이름은 “자기 장화 끈을 잡아당겨 스스로를 들어 올린다”는 허풍에서 왔다.

5.1 plug-in과 부트스트랩

정의 5.1 (부트스트랩) 자료 $X_1,\dots,X_n$이 주어졌을 때 $\hat F_n$에서 뽑은 크기 $n$의 표본, 곧 원래 자료에서 복원추출한 $X_1^*,\dots,X_n^*$를 부트스트랩 표본이라 한다. 통계량 $\hat\theta=T(X_1,\dots,X_n)$의 부트스트랩 분포는 자료를 고정했을 때 $\hat\theta^*=T(X_1^*,\allowbreak \dots,\allowbreak X_n^*)$의 분포다. 원리는 한 줄이다.

$$F\ \text{에서의}\ \hat\theta-\theta\ \text{의 분포}\ \approx\ \hat F_n\ \text{에서의}\ \hat\theta^*-\hat\theta\ \text{의 분포}.$$

그림 5.1 부트스트랩의 두 세계. 실제 세계에서는 모르는 $F$에서 자료가 한 번 뽑히고, 추정량의 오차 분포를 알 수 없다. 부트스트랩 세계에서는 자료의 경험분포 $\hat F_n$이 $F$의 자리에 서고, 거기서는 표본을 몇 번이든 다시 뽑을 수 있다. 두 세계의 오차 분포가 비슷하다는 것이 정리 5.3의 내용이다.

알고리즘 5.2 (몬테카를로 부트스트랩) 

1. 1.

   $b=1,\dots,B$에 대해 자료에서 $n$개를 복원추출해 $\hat\theta_b^*$를 계산한다.

2. 2.

   표준오차: $\widehat{\mathrm{SE}}=\sqrt{\tfrac1{B-1}\sum(\hat\theta_b^*-\bar\theta^*)^2}$.

3. 3.

   백분위 구간: $\hat\theta_b^*$들의 $\alpha/2$, $1-\alpha/2$ 분위수.

$\hat F_n$에서의 분포는 원리적으로 정확히 계산할 수 있는 양이다($n^n$가지 표본). 몬테카를로는 그것을 근사할 뿐이다(7회). $B$가 수천이면 그 오차는 무시할 만하다.

정리 5.3 (평균의 부트스트랩) $X_1,X_2,\dots\iid F$이고 $E|X|^3<\infty$, $\sigma^2=\Var X>0$이라 하자. 자료를 고정한 조건부 확률 $P^*$에서

1. (a)

   $E^*\bar X^*=\bar X$, $\Var^*\bar X^*=\hat\sigma^2/n$, 여기서 $\hat\sigma^2=\tfrac1n\sum(X_i-\bar X)^2$이다.

2. (b)

   거의 확실하게 $\sup_x\bigl|P^*\bigl(\sqrt n(\bar X^*-\bar X)\le x\bigr)-P\bigl(\sqrt n(\bar X-\mu)\le x\bigr)\bigr|\to0$이다.

증명 전략 자료를 고정하면 부트스트랩 표본은 $\hat F_n$에서 뽑은 iid 표본이다. (a)는 그 평균과 분산이다. (b)는 두 분포함수를 모두 정규분포함수와 비교한다. 부트스트랩 쪽은 $\hat F_n$에 쓴 Berry–Esseen 한계로, 실제 쪽은 $F$에 쓴 같은 한계로 누르고, 가운데를 삼각부등식으로 잇는다 [T4].

(a)

1. $P^*$에서 $X_i^*$는 $\hat F_n$에서 독립으로 뽑히므로 $E^*X_i^*=\tfrac1n\sum X_j=\bar X$, $\Var^*X_i^*=\tfrac1n\sum(X_j-\bar X)^2=\hat\sigma^2$이다.정의 5.1

2. $E^*\bar X^*=\bar X$, $\Var^*\bar X^*=\hat\sigma^2/n$이다.선형성, 독립합의 분산(2회 정리 2.8)

(b)

1. $\hat\rho=\tfrac1n\sum|X_i-\bar X|^3$으로 두면, 조건부로 iid인 $X_i^*$에 Berry–Esseen 한계를 써서

   $$\sup_x\Bigl|P^*\bigl(\sqrt n(\bar X^*-\bar X)\le x\bigr)-\Phi(x/\hat\sigma)\Bigr|\le\frac{C\hat\rho}{\hat\sigma^3\sqrt n} .$$

   7회 3절의 상자, $\hat F_n$에

2. $\hat\sigma\to\sigma>0$이고 $\hat\rho\to E|X-\mu|^3<\infty$이므로 1의 오른쪽은 0으로 간다.대수의 법칙, 연속사상 [T5]

3. 같은 한계를 $F$에 쓰면 $\sup_x\bigl|P\bigl(\sqrt n(\bar X-\mu)\le x\bigr)-\Phi(x/\sigma)\bigr|\le C\rho/(\sigma^3\sqrt n)\to0$이다.7회 3절의 상자

4. $\sup_x|\Phi(x/\hat\sigma)-\Phi(x/\sigma)|\to0$이다. 평균값 정리로 이 차는 $|x|\,|\tfrac1{\hat\sigma}-\tfrac1\sigma|\,\phi(\xi)$이고, $|x|\phi(\xi)$는 $\hat\sigma$가 $\sigma$ 근처에 있는 동안 $x$에 대해 유계다.평균값 정리 [T8]

5. 1–4를 삼각부등식으로 이으면 결론이 나온다.[T4]

조건 확인 2에서 “거의 확실하게”라고 쓴 수렴은 강한 대수의 법칙이 필요하다. 이 과정은 그것을 진술만 했다(7회 1절). 약한 대수의 법칙(7회 정리 1.6)만 쓰면 같은 논증으로 5의 상한이 확률수렴으로 0으로 간다는, 조금 약한 결론이 나온다. $\hat\rho$의 수렴은 $|X_i-\bar X|^3$을 $|X_i-\mu|^3$과 $\bar X-\mu$의 다항식으로 눌러 얻는다($E|X|^3<\infty$를 쓴다).

부트스트랩 표준오차 $\hat\sigma/\sqrt n$은 보통의 공식 $s/\sqrt n$과 $\sqrt{(n-1)/n}$배 다를 뿐이다. 평균에서는 새것이 없다. 부트스트랩의 값은 공식이 없는 추정량, 곧 중앙값, 절사평균, Huber 추정량, 상관계수, 회귀계수의 비 같은 것에서 같은 계산이 그대로 통한다는 데 있다.

5.2 더 나은 구간: BCa

백분위 구간은 $\hat\theta^*$의 분포가 $\hat\theta$를 중심으로 대칭이고 치우침이 없을 때 잘 맞는다. Efron(1987)의 BCa(치우침 수정·가속) 구간은 두 가지를 고친다.

정의 5.4 (BCa 구간) $\hat z_0=\Phi^{-1}\bigl(\#\{\hat\theta_b^*<\hat\theta\}/B\bigr)$ (치우침), 잭나이프 값 $\hat\theta_{(i)}$ (관측 $i$를 뺀 추정)과 그 평균 $\hat\theta_{(\cdot)}$으로

$$\hat a=\frac{\sum(\hat\theta_{(\cdot)}-\hat\theta_{(i)})^3}{6\bigl[\sum(\hat\theta_{(\cdot)}-\hat\theta_{(i)})^2\bigr]^{3/2}}\quad\text{(가속)},\qquad \alpha_j=\Phi\Bigl(\hat z_0+\frac{\hat z_0+z_{(j)}}{1-\hat a(\hat z_0+z_{(j)})}\Bigr)$$

로 두고, 부트스트랩 분포의 $\alpha_1$, $\alpha_2$ 분위수를 구간으로 쓴다($z_{(1)}=z_{\alpha/2}$의 아래쪽, $z_{(2)}$는 위쪽 분위수).

증명 없이 쓰는 사실 (BCa의 정확도 (Efron 1987, Hall 1988)) 매끄러운 통계량에서 BCa 구간의 포함확률 오차는 $O(1/n)$이고, 백분위 구간과 정규근사 구간은 $O(1/\sqrt n)$이다. 변환 불변이어서, $\theta$의 구간을 $g(\theta)$로 옮기면 $g(\theta)$의 BCa 구간이 된다.

예제 5.5 (Newcomb와 Cavendish의 부트스트랩) $B=20{,}000$으로 Newcomb의 66번에서 표준오차를 구하면 평균 1.32 (공식 $s/\sqrt n=1.32$), 중앙값 0.68, 10% 절사평균 0.68이다. 평균의 95% 구간은 $t$로 $[23.6,\ 28.9]$, BCa로 $[22.1,\ 28.0]$이다. BCa는 두 큰 음의 오차가 만든 왼쪽 꼬리를 반영해 아래로 늘어난다. 절사평균의 BCa 구간은 $[26.1,\ 28.8]$로 절반쯤 좁다. 어느 구간도 참값 33.02를 포함하지 않는다. Cavendish의 평균에서는 부트스트랩 표준오차 0.038이 공식 0.038과 같고, BCa 구간 $[5.41,\ 5.56]$이 $t$ 구간과 거의 같다(그림 5.2).

그림 5.2 Newcomb의 부트스트랩 분포. 왼쪽: 평균(주황)과 10% 절사평균(파랑)의 부트스트랩 분포. 평균의 분포는 넓고 왼쪽 꼬리가 길다. 오른쪽: 세 가지 95% 구간($t$, 평균의 BCa, 절사평균의 BCa)과 참값 33.02(빨간 점선).

5.3 잭나이프

정의 5.6 (잭나이프 표준오차) $\hat\theta_{(i)}$를 관측 $i$를 뺀 추정, $\hat\theta_{(\cdot)}=\tfrac1n\sum\hat\theta_{(i)}$라 할 때 $\widehat{\mathrm{SE}}_{\mathrm{jack}}=\sqrt{\tfrac{n-1}n\sum(\hat\theta_{(i)}-\hat\theta_{(\cdot)})^2}$이다.

잭나이프는 $n$번의 계산으로 끝나고 매끄러운 통계량에서는 부트스트랩과 비슷한 답을 준다. 그러나 중앙값처럼 매끄럽지 않은 통계량에서는 일치하지 않는다(연습 5.2). 부트스트랩이 더 일반적인 이유다.

연습문제

연습 5.1 (평균의 잭나이프 ★) $\hat\theta=\bar X$이면 $\widehat{\mathrm{SE}}_{\mathrm{jack}}=s/\sqrt n$으로 보통의 공식과 정확히 같음을 보여라.

풀이

$\hat\theta_{(i)}=(n\bar X-X_i)/(n-1)$이므로 $\hat\theta_{(i)}-\hat\theta_{(\cdot)}=-(X_i-\bar X)/(n-1)$. $\tfrac{n-1}n\sum\tfrac{(X_i-\bar X)^2}{(n-1)^2}=\tfrac{s^2}n$.

연습 5.2 (중앙값의 잭나이프 ★★) $n=2m$이 짝수이면 관측 하나를 뺀 중앙값은 $X_{(m)}$ 또는 $X_{(m+1)}$의 두 값뿐임을 보이고, 잭나이프 표준오차가 $X_{(m+1)}-X_{(m)}$ 하나에만 의존해 일치추정량이 될 수 없음을 설명하라.

풀이

$X_{(m)}$ 이하의 관측을 빼면 남은 $2m-1$개의 중앙값은 $X_{(m+1)}$이고, $X_{(m+1)}$ 이상을 빼면 $X_{(m)}$이다. 각각 $m$번이므로 $\widehat{\mathrm{SE}}^2_{\mathrm{jack}}=\tfrac{n-1}n\cdot n\cdot(d/2)^2$, $d=X_{(m+1)}-X_{(m)}$이다. $d$는 가운데 이웃한 두 순서통계량의 간격으로, $n$을 곱해도 상수로 가지 않는 무작위한 양(대략 지수분포)이다. 그래서 잭나이프 분산과 참 분산의 비가 1로 가지 않는다.

연습 5.3 (부트스트랩 표본의 다양성 ★★) 크기 $n$의 부트스트랩 표본에 원래 관측 $i$가 한 번도 들어가지 않을 확률이 $(1-1/n)^n\to e^{-1}=0.368$임을 보이고, 부트스트랩 표본에 서로 다른 관측이 평균 $n(1-(1-1/n)^n)\approx0.632n$개 있음을 보여라. (8절의 out-of-bag이 이것이다.)

풀이

$n$번의 복원추출이 모두 관측 $i$를 피할 확률은 $(1-1/n)^n\to e^{-1}$. 서로 다른 관측의 수는 지시변수 $n$개의 합이므로 평균은 $n(1-(1-1/n)^n)\approx0.632n$.

연습 5.4 (정확한 부트스트랩 ★★) $n=3$, 자료 $(1,2,6)$일 때 서로 다른 부트스트랩 표본(다중집합)이 $\binom53=10$개임을 보이고, 각각의 확률(다항계수$/27$)로 중앙값의 부트스트랩 분포를 정확히 계산하라.

풀이

$(1,2,6)$의 개수 $(a,b,c)$, $a+b+c=3$인 다중집합이 10개이고 확률은 $\tfrac{3!}{a!b!c!}/27$이다. 중앙값은 1이 두 번 이상이면 1 ($\tfrac{1+3+3}{27}=\tfrac7{27}$), 6이 두 번 이상이면 6 ($\tfrac7{27}$), 그 밖에는 2 ($\tfrac{13}{27}$)이다.

이 절을 PDF로 보기 (20쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례