15회 · 가정이 틀리면 · 노트

7 부숴보기 — 분포를 덜 믿어도 깨지는 곳

7.1 부트스트랩은 최댓값에서 실패한다

8회의 독일 전차 문제는 일련번호의 최댓값 $X_{(n)}$으로 전차의 수 $\theta$를 추정했다. 부트스트랩으로 그 분포를 흉내 낼 수 있을까?

정리 7.1 (최댓값의 부트스트랩) $X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm U(0,\allowbreak \theta)$이면 $n(\theta-X_{(n)})/\theta\xrightarrow{D}\mathrm{Exp}(1)$로 연속분포에 수렴한다. 그러나 부트스트랩 분포는

$$P^*\bigl(X^*_{(n)}=X_{(n)}\bigr)=1-\Bigl(1-\frac1n\Bigr)^n\ \to\ 1-e^{-1}=0.632$$

의 원자를 0에 가지므로, $n(X_{(n)}-X_{(n)}^*)/X_{(n)}$의 부트스트랩 분포는 $\mathrm{Exp}(1)$로 수렴하지 않는다.

증명 전략 실제 분포는 최댓값의 분포함수를 직접 계산해 극한을 구한다. 부트스트랩 분포는 0에 있는 원자의 확률을 계산하고, 연속분포로 수렴하는 분포함수가 한 점에서 큰 점프를 가질 수 없음을 쓴다. 단계별 증명은 연습 7.4(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

부트스트랩이 통하려면 통계량이 $F$에 대해 “매끄럽게” 의존해야 한다(평균처럼). 최댓값은 분포의 끝 하나에만 의존하고, 경험분포는 그 끝을 언제나 자료의 최댓값에 둔다. $n=50$의 균등 표본으로 부트스트랩을 2만 번 하면 63.6%가 원래 최댓값을 그대로 준다. 대안은 $n$보다 작은 $m$개만 뽑는 “$m$-out-of-$n$” 부트스트랩이나, 문제의 구조를 쓰는 모수적 방법(8회의 피벗 $X_{(n)}/\theta$)이다.

7.2 순위합은 중앙값의 검정이 아니다

Wilcoxon–Mann–Whitney 검정은 흔히 “두 중앙값이 같은가”의 검정이라 소개된다. 정리 1.5이 쓴 귀무가설은 $F=G$, 곧 분포 전체가 같다는 것이다.

예제 7.2 (분산만 다른 두 집단) 두 집단이 모두 0을 중심으로 대칭이지만(중앙값이 같다) 크기 10의 집단은 표준편차 4, 크기 40의 집단은 표준편차 1이라 하자. 5% 검정을 2만 번 하면 실제 크기는 Mann–Whitney 0.147, 합동분산 $t$ 0.293, Welch $t$ 0.051이다. 표준편차를 바꾸면(작은 집단이 조용하면) 0.007, 0.00025, 0.049가 된다. 순위검정이 “분포를 가정하지 않는다”는 것은 귀무가설 $F=G$ 아래의 분포가 $F$와 무관하다는 뜻이지, 어떤 차이에도 둔감하다는 뜻이 아니다. $P(X>Y)=1/2$이어도 퍼짐이 다르면 $U$의 분산이 정리의 값과 달라진다.

7.3 로버스트 추정량은 무엇을 추정하는가

예제 7.3 (한쪽으로만 섞이면) $0.9\,\N(0,1)+0.1\,\N(5,1)$에서 평균의 극한은 0.5, 중앙값은 0.140, Huber 추정량($k=1.345$, 척도 1)은 0.182다. 오염이 대칭이 아니면 세 추정량은 서로 다른 값으로 간다. “참값”이 0인지(오염을 버려야 할 측정 실수로 볼 때), 0.5인지(모든 관측이 같은 모집단일 때)는 통계학이 아니라 문제가 정한다. 로버스트 추정은 “대부분의 자료가 말하는 값”을 추정하고, 평균은 “모든 자료의 무게중심”을 추정한다.

연습문제

연습 7.1 (원자의 크기 ★) $n=10,\ 50,\ 1000$에서 $P^*(X^*_{(n)}=X_{(n)})$을 계산하라. 이 확률이 연속분포에서는 0이어야 하는 이유는?

풀이

$1-0.9^{10}=0.651$, $1-0.98^{50}=0.636$, $1-0.999^{1000}=0.632$. 연속분포는 한 점에 확률을 주지 않으므로, 부트스트랩 분포의 큰 원자는 참 분포를 흉내 내지 못한다는 표시다.

연습 7.2 (Cauchy의 부트스트랩 ★★) Cauchy 표본에서 평균의 부트스트랩 표준오차가 무엇을 재는지 생각해 보라. 자료가 늘어날수록 그 값은 어떻게 되는가? (7회 3절: Cauchy의 평균은 Cauchy다. 정리 5.3은 어느 가정을 쓰는가?)

풀이

부트스트랩 표준오차 $\hat\sigma/\sqrt n$은 가장 큰 $|X_i|$ 하나에 지배된다. Cauchy에서 $\max|X_i|$는 $n$에 비례해 커지므로 $\hat\sigma\approx\max|X_i|/\sqrt n$은 $\sqrt n$처럼 커지고, $\hat\sigma/\sqrt n$은 줄지 않은 채 표본마다 크게 달라지는 무작위한 양으로 남는다(노트북: $n=100$에서 $10{,}000$까지 중앙값이 1 근처). 평균의 참 분포는 $n$과 무관한 Cauchy이므로 “줄지 않는다”는 것은 맞지만, 부트스트랩 분포는 어떤 고정된 분포로도 수렴하지 않는다. 정리 5.3은 $E|X|^3<\infty$(적어도 분산이 유한함)를 썼다.

연습 7.3 (두 중앙값을 비교하려면 ★★) 두 집단의 중앙값의 차를 비교하는 구간을 만드는 방법 두 가지(부트스트랩, 8회 정리 2.6의 분위수 구간을 각 집단에)를 설명하고, 예제 7.2의 상황에서 어느 쪽이 크기를 지키겠는지 말하라.

풀이

(1) 두 집단에서 각각 복원추출해 중앙값의 차의 부트스트랩 분포를 만든다. 중앙값은 분포의 매끄러운 함수이므로(밀도가 양수이면) 부트스트랩이 일치한다. (2) 각 집단의 중앙값 구간(8회 정리 2.6)을 만들어 차의 구간을 보수적으로 합친다. 둘 다 “중앙값이 같다”를 귀무가설로 삼으므로 분산이 달라도 크기를 대체로 지킨다. 순위합 검정은 $F=G$를 검정하므로 그렇지 않다.

연습 7.4 (최댓값의 부트스트랩: 증명 ★★ 유도형) 정리 7.1를 다음 순서로 증명하라.

1. (a)

   $0\le x\le n$이면 $P\bigl(n(\theta-X_{(n)})/\theta>x\bigr)=(1-x/n)^n$임을 보이고, $n\to\infty$에서 $e^{-x}$로 감을 보여라 [T5].

2. (b)

   자료를 고정하면 $X^*_{(n)}=X_{(n)}$은 “$n$번의 복원추출 가운데 적어도 한 번 최댓값이 뽑힌다”와 같다. 그 확률이 $1-(1-1/n)^n$임을 보여라.

3. (c)

   $V_n^*=n(X_{(n)}-X^*_{(n)})/X_{(n)}$의 부트스트랩 분포함수를 $G_n$이라 하면 $G_n(0)\ge1-(1-1/n)^n$이다. 만약 $G_n$이 $\mathrm{Exp}(1)$의 분포함수 $G$로 모든 점에서 수렴한다면 $G(0)=0$과 모순임을 보여라. ($G$는 0에서 연속이다.)

풀이

(a) $X_{(n)}\le s$는 모든 $X_i\le s$와 같으므로 $P(X_{(n)}\le s)=(s/\theta)^n$이다. $s=\theta(1-x/n)$을 넣으면 $P\bigl(n(\theta-X_{(n)})/\theta\ge x\bigr)=(1-x/n)^n$이고(연속이므로 $\ge$와 $>$가 같다), $\log(1-x/n)^n=n\log(1-x/n)\to-x$이므로 $e^{-x}$로 간다([T5], [T8]). (b) 복원추출 $n$번이 모두 최댓값이 아닌 관측을 뽑을 확률은 독립이므로 $(1-1/n)^n$이다. 그 여사건이 $X^*_{(n)}=X_{(n)}$이다(연속분포이므로 자료에 같은 값은 확률 1로 없다). (c) $V_n^*\ge0$이고 $V_n^*=0$은 $X^*_{(n)}=X_{(n)}$과 같으므로 $G_n(0)=1-(1-1/n)^n\to1-e^{-1}=0.632$이다. $\mathrm{Exp}(1)$의 분포함수는 0에서 연속이고 $G(0)=0$이므로, 분포수렴이라면 $G_n(0)\to0$이어야 한다(7회 정의 2.1). 모순이다.

이 절을 PDF로 보기 (27쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례