15회 · 가정이 틀리면 · 노트

2 효율 — 순위로 바꾸면 얼마나 잃는가

역사 순위 검정이 처음 나왔을 때 많은 통계학자는 그것을 “빠르지만 거친” 방법으로 여겼다. 값을 버리고 순서만 쓰니 정보를 잃는다는 것이다. 1948년 Pitman은 콜럼비아 대학 강의록에서 두 검정을 비교하는 기준을 내놓았다. 같은 대립가설에 같은 검정력을 얻는 데 필요한 표본 크기의 비다. Hodges와 Lehmann(1956)은 그 기준으로 Wilcoxon 검정이 정규분포에서조차 $t$ 검정의 95.5%의 효율을 갖고, 어떤 분포에서도 86.4%보다 못하지 않으며, 꼬리가 두꺼우면 얼마든지 나을 수 있음을 증명했다. “빠르고 거친” 방법이 사실상 공짜였던 것이다.

2.1 Pitman 효율

정의 2.1 (점근상대효율) 같은 가설을 검정하는 두 검정이 있고, 대립가설 $\theta$가 0에 다가갈 때 같은 크기와 같은 검정력에 필요한 표본 크기를 $N_1(\theta)$, $N_2(\theta)$라 하자. $\lim_{\theta\to0}N_2/N_1$을 검정 1의 검정 2에 대한 Pitman 점근상대효율(ARE)이라 한다. ARE가 1.5면 검정 1은 같은 일을 표본 $2/3$로 한다.

증명 없이 쓰는 사실 (국소 대립가설 아래의 점근정규성) $\theta_N=h/\sqrt N$일 때 $\sqrt N\bigl(T_N-\mu(0)\bigr)/\sigma(0)\xrightarrow{D}\N\bigl(h\,\mu^\prime(0)/\sigma(0),\allowbreak \ 1\bigr)$이 성립한다고 하자. 두 표본 평균의 차에서는 중심극한정리(7회 정리 3.1)로 바로 나오고, Mann–Whitney 통계량에서는 U-통계량의 사영(Hoeffding 1948)과 대립가설의 “근접성”(Le Cam)이 필요하다. 이 과정에서는 그것을 증명 없이 쓴다.

명제 2.2 (효능과 효율) 위의 조건 아래 크기 $\alpha$의 한쪽 검정의 검정력은 $1-\Phi\bigl(z_\alpha-h\,e\bigr)$로 수렴한다. $e=\mu^\prime(0)/\sigma(0)$을 효능이라 한다. 두 검정의 ARE는 효능의 비의 제곱 $(e_1/e_2)^2$이다.

증명 전략 기각역을 표준화한 통계량으로 쓰고 위 상자의 극한분포를 넣어 검정력의 극한을 얻는다. 두 검정의 검정력이 같아지는 조건을 표본 크기에 대해 푼다. 단계별 증명은 연습 2.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정리 2.3 (Wilcoxon 대 $t$) $X\sim F$, $Y\sim F(\cdot-\theta)$, $F$의 밀도 $f$와 분산 $\sigma^2$이 있고, $m/N\to\lambda\in(0,1)$이라 하자. Wilcoxon–Mann–Whitney 검정의 두 표본 $t$ 검정에 대한 ARE는

$$\mathrm{ARE}(W,t)=12\,\sigma^2\Bigl(\int f(x)^2\,dx\Bigr)^2 .$$

증명 전략 명제 2.2로 ARE는 효능의 비의 제곱이다. 두 통계량마다 평균의 $\theta$에 대한 도함수와 귀무가설 아래의 표준편차($\sqrt N$을 곱한 것)를 구한다.

1. $t$: $T=\bar Y-\bar X$의 평균은 $\theta$이고 분산은 $\sigma^2(\tfrac1m+\tfrac1n)=\tfrac{\sigma^2}{N\lambda(1-\lambda)}$이다. 따라서 $\mu^\prime(0)=1$, $\sigma(0)=\sigma/\sqrt{\lambda(1-\lambda)}$, $e_t=\sqrt{\lambda(1-\lambda)}/\sigma$이다.2회 정리 2.8, $m/N\to\lambda$

2. Wilcoxon: $T=U/(mn)$의 평균은 $p(\theta)=P(Y>X)=\int F(x+\theta)f(x)\,dx$이다.정리 1.5(c), 반복기댓값

3. $p^\prime(0)=\int f(x)^2\,dx$이다.적분 기호 아래 미분 [T6]

4. 귀무가설 아래 $\Var T=\tfrac{N+1}{12mn}\approx\tfrac1{12N\lambda(1-\lambda)}$이므로 $\sigma(0)=1/\sqrt{12\lambda(1-\lambda)}$, $e_W=\sqrt{12\lambda(1-\lambda)}\int f^2$이다.정리 1.5(b), 연습 1.4

5. $(e_W/e_t)^2=12\,\sigma^2\bigl(\int f^2\bigr)^2$이다. $\lambda(1-\lambda)$는 지워진다.명제 2.2

조건 확인 3에서 $\tfrac{F(x+\theta)-F(x)}\theta$는 $f$의 구간 $[x,x+\theta]$ 위의 평균이다. $f$가 유계($\le M$)이면 차분몫과 $f(x)$의 곱은 적분가능한 $Mf(x)$로 눌리고, $f$의 연속점에서 $f(x)^2$로 수렴하므로 지배수렴으로 미분과 적분을 바꿀 수 있다 [T6]. 명제 2.2는 위의 상자(국소 대립가설 아래의 점근정규성)를 가정한다. Mann–Whitney 통계량에 대한 그 사실은 이 과정에서 증명하지 않는다.

예제 2.4 (분포에 따른 효율) 

분포	포물선	균등	정규	로지스틱	$t_5$	Laplace	$t_3$
ARE$(W,t)$	0.864	1	$3/\pi=0.955$	$\pi^2/9=1.097$	1.24	1.5	1.90

정규분포에 표준편차가 3배인 정규를 $\varepsilon$만큼 섞으면(Tukey의 오염 정규) ARE는 $\varepsilon=0.01$에서 1.01, 0.05에서 1.20, 0.10에서 1.37이다. 오염이 1%만 되어도 Wilcoxon이 $t$를 앞선다. Cauchy처럼 분산이 없으면 $t$ 검정은 근거를 잃고 ARE는 무한대다.

2.2 하한 0.864

정리 2.5 (Hodges–Lehmann (1956)) 분산이 유한한 모든 밀도 $f$에 대해 $\mathrm{ARE}(W,\allowbreak t)\ge108/125=0.864$이다. 등호는 포물선 밀도 $f(x)\propto(5\sigma^2-x^2)_+$일 때다.

증명 전략 ARE는 위치와 척도에 무관하므로 평균 0, 분산 1인 밀도에서 $\int f^2$의 최솟값을 찾으면 된다. 후보 $h$와의 차의 제곱 $(f-h)^2\ge0$을 적분해 $\int f^2$를 아래에서 누른다 [T4].

1. $f$를 $\tfrac1sf(\tfrac{x-a}s)$로 바꾸면 $\sigma^2$은 $s^2$배, $\int f^2$은 $\tfrac1s$배가 되어 $12\sigma^2(\int f^2)^2$은 그대로다. 그래서 평균 0, 분산 1로 놓는다.치환 [T7]

2. $h(x)=c\,(5-x^2)_+$, $c=\tfrac3{20\sqrt5}$로 두면 $\int h=1$, $\int x^2h=1$이다. $a=5c$, $b=c$로 쓰면 받침 위에서 $h=a-bx^2$이다.직접 적분, 연습 2.2

3. $0\le\int(f-h)^2=\int f^2-2\int fh+\int h^2$이므로 $\int f^2\ge2\int fh-\int h^2$이다.전개 [T4]

4. 모든 $x$에서 $h(x)\ge a-bx^2$이고(받침 밖에서 오른쪽이 음수) $f\ge0$이므로 $\int fh\ge\int f\,(a-bx^2)=a-b$이다.$\int f=1$, $\int x^2f=1$

5. $h$의 받침 위에서 $h=a-bx^2$이므로 $\int h^2=\int h\,(a-bx^2)=a-b=4c=\tfrac{3\sqrt5}{25}$이다.2

6. 3–5로 $\int f^2\ge2(a-b)-(a-b)=\tfrac{3\sqrt5}{25}$이고, $12(\int f^2)^2\ge12\cdot\tfrac{45}{625}=\tfrac{108}{125}$이다. 등호는 $\int(f-h)^2=0$, 곧 $f=h$일 때다.3의 등호 조건

정리 2.5는 “보험료”를 알려 준다. Wilcoxon을 쓰면 최악의 경우에도 표본의 13.6%만큼 손해고, 정규에서는 4.5%이며, 꼬리가 두꺼우면 큰 이득이다. Chernoff와 Savage(1958)는 순위 대신 정규분포의 분위수(정규 점수)를 쓰는 검정이 모든 분포에서 $t$ 이상의 효율을 가짐을 보였다.

그림 2.1 왼쪽: 하한을 이루는 포물선 밀도와 같은 분산의 정규밀도. 오른쪽: 오염 비율 $\varepsilon$ (표준편차 3배의 정규를 섞음)에 따른 Wilcoxon의 $t$에 대한 효율(정리 2.3). 회색 점선은 1, 빨간 점선은 하한 0.864다. $\varepsilon\approx0.01$에서 1을 넘는다.

연습문제

연습 2.1 (세 분포의 효율 ★) 정규에서 $\int\phi^2=1/(2\sqrt\pi)$, Laplace $\tfrac12e^{-|x|}$에서 $\sigma^2=2$, $\int f^2=1/4$, 로지스틱에서 $\sigma^2=\pi^2/3$, $\int f^2=1/6$임을 보이고 표의 $3/\pi$, $1.5$, $\pi^2/9$를 얻어라.

풀이

정규: $\int\phi^2=\tfrac1{2\pi}\int e^{-x^2}dx=\tfrac1{2\sqrt\pi}$, $12\cdot\tfrac1{4\pi}=3/\pi$. Laplace: $\int x^2\tfrac12e^{-|x|}=2$, $\int\tfrac14e^{-2|x|}=\tfrac14$, $12\cdot2\cdot\tfrac1{16}=1.5$. 로지스틱: $\sigma^2=\pi^2/3$, $\int f^2=\int_0^1u(1-u)\,du=1/6$ ($u=F(x)$, $f=u(1-u)$로 치환), $12\cdot\tfrac{\pi^2}3\cdot\tfrac1{36}=\pi^2/9$.

연습 2.2 (포물선 밀도 ★★) 정리 2.5의 $h$에서 $\int h=1$, $\int x^2h=1$, $\int h^2=3\sqrt5/25$를 직접 계산하라.

풀이

$\int_{-\sqrt5}^{\sqrt5}(5-x^2)\,dx=\tfrac{20\sqrt5}3$이므로 $c=\tfrac3{20\sqrt5}$. $c\int x^2(5-x^2)\,dx=c\cdot\tfrac{20\sqrt5}3=1$. $\int h^2=c\int h(x)(5-x^2)\,dx$ (받침 위)$=c(5-1)=4c=\tfrac{3}{5\sqrt5}=\tfrac{3\sqrt5}{25}$.

연습 2.3 (효능에서 표본 크기로 ★) 정규 자료에서 $t$ 검정이 100쌍으로 얻는 검정력을 Wilcoxon으로 얻으려면 대략 몇 쌍이 필요한가? Laplace 자료에서는?

풀이

정규에서는 $100/0.955\approx105$쌍, Laplace에서는 $100/1.5\approx67$쌍이다.

연습 2.4 (부호검정 ★★) 한 표본 위치 문제에서 양수의 개수로 하는 부호검정의 효능이 $2f(0)$, $t$ 검정의 효능이 $1/\sigma$임을 보이고 ARE $4\sigma^2f(0)^2$을 구하라. 정규분포에서는 $2/\pi=0.637$이다. (8회 정리 1.4의 표본 중앙값의 분산과 비교하라.)

풀이

$S=\tfrac1n\#\{X_i>0\}$의 평균은 $P(X>0)=1-F(-\theta)$이므로 $\mu^\prime(0)=f(0)$, 귀무가설 아래 표준편차는 $1/(2\sqrt n)$이어서 효능은 $2f(0)$. $t$의 효능은 $1/\sigma$이므로 ARE $=4\sigma^2f(0)^2$. 정규에서 $4\cdot\tfrac1{2\pi}=\tfrac2\pi$. 이것은 평균과 표본 중앙값의 분산의 비 $\sigma^2/(1/(4f(0)^2))$와 같다(8회 정리 1.4).

연습 2.5 (효능과 효율의 증명 ★★ 유도형) 명제 2.2를 다음 순서로 증명하라. $\theta=h/\sqrt N$이다.

1. (a)

   크기 $\alpha$의 한쪽 검정의 기각역이 $Z_N=\sqrt N\bigl(T_N-\mu(0)\bigr)/\sigma(0)>z_\alpha$임을 적고, 위 상자의 가정으로 $Z_N\xrightarrow{D}\N(he,1)$임을 확인하라.

2. (b)

   극한분포가 연속이므로 $P(Z_N>z_\alpha)\to1-\Phi(z_\alpha-he)$임을 보여라. 분포수렴의 정의에서 어느 점의 연속성을 쓰는가?

3. (c)

   같은 고정된 $\theta$에서 $h=\theta\sqrt N$이다. 두 검정의 극한 검정력이 같으려면 $\theta\sqrt{N_1}e_1=\theta\sqrt{N_2}e_2$이어야 함을 보이고 $N_2/N_1=(e_1/e_2)^2$을 얻어라.

풀이

(a) 귀무가설 아래 $Z_N=\sqrt N(T_N-\mu(0))/\sigma(0)\xrightarrow{D}\N(0,\allowbreak 1)$이므로 크기 $\alpha$의 한쪽 검정은 $Z_N>z_\alpha$에서 기각한다. $\theta_N=h/\sqrt N$ 아래에서는 상자의 가정으로 $Z_N\xrightarrow{D}\N(h\mu^\prime(0)/\sigma(0),\allowbreak 1)=\N(he,\allowbreak 1)$이다. (b) $\N(he,1)$의 분포함수는 연속이므로 분포수렴의 정의가 모든 점에서, 특히 $z_\alpha$에서 성립한다(7회 정의 2.1). 따라서 $P(Z_N>z_\alpha)=1-P(Z_N\le z_\alpha)\to1-\Phi(z_\alpha-he)$이다. (c) 고정된 작은 $\theta$에서 표본 크기 $N_j$를 쓰면 $h_j=\theta\sqrt{N_j}$이고 극한 검정력은 $1-\Phi(z_\alpha-\theta\sqrt{N_j}e_j)$이다. $\Phi$는 순증가이므로 두 검정력이 같은 것은 $\theta\sqrt{N_1}e_1=\theta\sqrt{N_2}e_2$일 때이고, 곧 $N_2/N_1=(e_1/e_2)^2$이다.

이 절을 PDF로 보기 (8쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례