6회 · Student의 t · 노트

7 부숴보기 — 정규가 아니고, 독립이 아니면

정리 5.2의 “정확히 $1-\alpha$”는 세 가정 위에 서 있다. 관측이 정규이고, 독립이고, (두 표본이면) 분산이 같다. 이 절은 가정을 하나씩 깨고 실제 포함확률을 잰다. 결론을 먼저 쓰면, 평균에 대한 $t$는 대칭인 비정규에는 강하고, 비대칭에는 작은 $n$에서 약하며, 의존에는 $n$이 커져도 약하다. 그리고 분산에 대한 $F$는 비정규에 아주 약하다.

7.1 비대칭 모집단

모집단	$n=5$	$n=10$	$n=30$	$n=100$	성질
균등 $U(0,1)$	0.934	0.946	0.949	0.948	대칭, 꼬리 짧음
$t(3)$	0.962	0.960	0.956	0.952	대칭, 꼬리 두꺼움
지수 $\mathrm{Exp}(1)$	0.884	0.899	0.927	0.941	오른쪽으로 치우침
로그정규 $e^{\N(0,1)}$	0.822	0.837	0.882	0.918	크게 치우침

명목 95% $t$-구간의 실제 포함확률이다(각 5만 번 시뮬레이션). 대칭인 분포에서는 $n=5$에서도 거의 맞고, $t(3)$처럼 꼬리가 두꺼우면 오히려 보수적이다. 치우친 분포에서는 $n=30$에서도 모자라다. 원인은 평균과 표준편차의 상관이다.

명제 7.1 (평균과 표본분산의 공분산) $X_1,\dots,X_n$이 독립이고 같은 분포이며 $\mu_3=E(X-\mu)^3$이 유한하면

$$\Cov(\bar X,S^2)=\frac{\mu_3}n .$$

증명 전략 $\mu=0$으로 놓고 $(n-1)S^2=\sum_jX_j^2-n\bar X^2$에 $\bar X$를 곱해 기댓값을 취한다. 독립이고 평균이 0이면, 한 첨자가 혼자 남는 곱의 기댓값은 0이다. 단계별 증명은 연습 7.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정규면 $\mu_3=0$이고, 이것은 $\bar X\perp S^2$와 어긋나지 않는다. 오른쪽으로 치우친 분포($\mu_3>0$)에서는 $\bar X$가 작을 때 $S$도 작다. 지수 표본 $n=10$에서 $\bar X$와 $S$의 상관은 0.76이다. 그래서 구간이 아래로 밀렸을 때 하필 짧아진다. 놓치는 방향이 한쪽으로 몰린다.

예제 7.2 (한쪽으로 놓친다) 지수 표본 $n=10$의 95% $t$-구간은 90.1%를 포함한다. 놓친 9.9% 가운데 9.5%는 구간 전체가 $\mu$ 아래에 있는 경우이고, 위에 있는 경우는 0.4%뿐이다. 양쪽 2.5%씩이 되어야 할 오류가 9.5%와 0.4%로 갈린다. 그래서 $\mu$의 위쪽 한계로 $\bar X+t_{9,0.025}S/\sqrt{10}$을 쓰면 97.5%가 아니라 90.5%만 맞는다. 로그정규에서는 15.9%와 0.1%로 더 심하다. 로그를 취해 대칭으로 만든 뒤 구간을 만들면(로그정규의 경우 정확히 정규가 되어) 포함확률은 95%로 돌아온다. 그러나 그것은 $\mu$가 아니라 중앙값 $e^{E\log X}$의 구간이다.

그림 7.1 왼쪽: 모집단별 $t$-구간의 실제 포함확률. 치우친 분포는 $n=100$에서도 95%에 닿지 못한다. 가운데: 지수 표본 $n=10$의 $(\bar x, s)$ 2,000쌍. 구간이 $\mu$보다 아래에 있는 경우(빨강)는 거의 모두 $\bar x$와 $s$가 함께 작은 왼쪽 아래에 있다. 오른쪽: 분산의 $F$ 검정(5%)의 실제 기각률. 첨도가 큰 분포에서는 $n$이 커져도 나아지지 않는다.

$n$이 커지면 7회의 중심극한정리로 $\bar X$가 정규에 가까워지고 $S\to\sigma$이므로 $t$-구간은 결국 맞는다(그림 7.1 왼쪽). 그러나 수렴의 속도가 왜도 $\gamma=\mu_3/\sigma^3$에 달려 있다. 한쪽으로 놓치는 확률의 어긋남은 대략 $\gamma/\sqrt n$에 비례해서 줄어든다. 지수 표본에서 구간이 $\mu$ 아래에 있을 확률(이론값 2.5%)은 $n=10$에서 9.5%, $n=100$에서 4.5%다. 양쪽 구간에서는 두 쪽의 어긋남이 일부 상쇄되어 더 빨리 줄지만, 한쪽 한계는 느리다. “$n\ge30$이면 정규”라는 경험칙은 왜도가 작을 때만의 이야기다. 15회의 부트스트랩-$t$가 이 왜도를 자료에서 어림해 보정한다.

7.2 이상값 하나

명제 7.3 (이상값은 $t$를 1로 끌고 간다) $x_2,\dots,x_n$을 고정하고 $x_1=M\to\infty$이면 $t=\dfrac{\sqrt n\,\bar x}{s}\to1$.

증명 전략 $\bar x$와 $s$를 $M$의 거듭제곱으로 전개해 가장 큰 차수의 항만 비교한다 [T8]. 단계별 증명은 연습 7.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

큰 이상값은 평균을 끌어올리지만 표준편차를 더 크게 키워서, $\mu=0$을 검정하는 $t$가 오히려 작아진다. 평균이 1 근처인 10개의 값에서 $t=3.58$이었는데, 첫 값을 $20$으로 바꾸면 $t=1.46$, $100$으로 바꾸면 $1.09$다. 한 개의 큰 값이 “효과가 있다”는 결론을 지운다. $t$는 분포의 모양에 대해서는 의외로 튼튼하지만(위 표의 대칭 분포), 소수의 거친 오차에는 무력하다. 15회의 순위 검정과 로버스트 추정이 이 문제에서 출발한다.

7.3 의존하는 관측

관측이 서로 닮으면, 예를 들어 같은 날의 측정이나 시계열처럼 $\Corr(X_i,X_j)=\rho^{|i-j|}$ (AR(1), $0<\rho<1$)이면 3회 정리 4.2(공분산의 쌍선형성)로

$$\Var\bar X=\frac{\sigma^2}n\Bigl[1+2\sum_{k=1}^{n-1}\Bigl(1-\frac kn\Bigr)\rho^k\Bigr]\ \longrightarrow\ \frac{\sigma^2}n\cdot\frac{1+\rho}{1-\rho}\qquad(n\to\infty)$$

이다(연습 7.2). $S^2$는 여전히 $\sigma^2$ 근처이므로 $t$-구간은 $\sqrt{(1+\rho)/(1-\rho)}$배 너무 짧다. $\rho=0.5$이면 그 배수가 $\sqrt3$이고 포함확률은 $n=10,30,100$에서 $0.76,\ 0.74,\ 0.74$로 $n$이 커져도 나아지지 않는다. 극한은 $P(|Z|\le1.96/\sqrt3)=0.742$다. 비정규성은 표본이 크면 사라지지만 의존은 사라지지 않는다. Student 자신도 1927년의 논문에서 실험실의 일상 분석은 같은 날의 측정끼리 닮아서 오차가 이론보다 크다고 경고했다.

7.4 분산의 비교는 정규성에 민감하다

정리 4.3의 $F$ 검정을 비정규 자료에 쓰면 결과가 크게 틀린다. 두 집단이 같은 분포이고 $m=n=11$일 때 명목 5% 검정의 실제 기각률은 균등 1.0%, Laplace 16%, 지수 24%이고, $n=101$에서는 0.3%, 21%, 31%로 오히려 나빠진다. 이유는 연습 1.2에 있다. $\Var S^2=\tfrac{\sigma^4}n\bigl(2+\kappa\bigr)+O(n^{-2})$에서 $\kappa=\mu_4/\sigma^4-3$은 초과첨도이고, 정규 이론은 $\kappa=0$을 가정한다. $n$이 커져도 이 비율 $1+\kappa/2$는 그대로 남는다. 반면 같은 자료에서 평균의 $t$ 검정은 지수를 빼면 4.3–5.2%로 거의 정확하다. Box(1953)는 이 대조를 보이며 “로버스트”(robust)라는 말을 통계학에 들였다. 평균의 비교는 로버스트하고, 분산의 비교는 그렇지 않다.

연습문제

연습 7.1 (지수 표본의 공분산 ★) 명제 7.1로 $\mathrm{Exp}(1)$ 표본에서 $\Cov(\bar X,S^2)=\tfrac2n$임을 확인하라($\mu_3=2$). 연습 2.3의 $n=2$의 결과와 맞는가?

풀이

$\mathrm{Exp}(1)$에서 $\mu_3=E(X-1)^3=EX^3-3EX^2+3EX-1=6-6+3-1=2$. 명제 7.1로 $\Cov(\bar X,S^2)=\tfrac2n$이고 $n=2$이면 1로 연습 2.3와 같다.

연습 7.2 (AR(1)의 분산 ★★) $\Var X_i=\sigma^2$, $\Cov(X_i,\allowbreak X_j)=\sigma^2\rho^{|i-j|}$이면 본문의 $\Var\bar X$ 식이 성립함을 보이고, $n\to\infty$에서 괄호가 $\tfrac{1+\rho}{1-\rho}$로 감을 보여라. 음의 상관($\rho<0$)이면 $t$-구간은 어떻게 되나?

풀이

3회 정리 4.2로 $\Var\bar X=\tfrac1{n^2}\sum_{i,j}\sigma^2\rho^{|i-j|}$. $|i-j|=k\ge1$인 순서쌍이 $2(n-k)$개이므로

$$\Var\bar X=\frac{\sigma^2}{n^2}\Bigl[n+2\sum_{k=1}^{n-1}(n-k)\rho^k\Bigr]=\frac{\sigma^2}n\Bigl[1+2\sum_{k=1}^{n-1}\Bigl(1-\frac kn\Bigr)\rho^k\Bigr].$$

$\sum_{k\ge1}\rho^k=\tfrac\rho{1-\rho}$이고 $\tfrac1n\sum_kk|\rho|^k\le\tfrac{|\rho|}{n(1-|\rho|)^2}\to0$이므로 괄호는 $1+\tfrac{2\rho}{1-\rho}=\tfrac{1+\rho}{1-\rho}$로 간다. $\rho<0$이면 이 값이 1보다 작아 $\Var\bar X$를 크게 어림하므로 구간은 지나치게 넓다(보수적).

연습 7.3 ($F$ 검정의 점근 수준 ★★★) 연습 1.2의 $\Var S^2$와 7회의 델타 방법을 미리 빌려 $\log(S_X^2/S_Y^2)$의 분산을 $\tfrac{2(2+\kappa)}n$로 어림하라. 정규 이론의 5% 검정이 실제로는 $P\bigl(|Z|>1.96/\sqrt{1+\kappa/2}\bigr)$로 기각함을 보이고, Laplace($\kappa=3$)와 지수($\kappa=6$)에서 계산해 본문의 시뮬레이션과 비교하라.

풀이

델타 방법: $\log S^2\approx\log\sigma^2+\tfrac{S^2-\sigma^2}{\sigma^2}$이므로 $\Var\log S^2\approx\tfrac{\Var S^2}{\sigma^4}\approx\tfrac{2+\kappa}n$. 두 독립 표본의 차 $\log F=\log S_X^2-\log S_Y^2$의 분산은 $\tfrac{2(2+\kappa)}n$이다. 정규 이론의 검정은 이 분산을 $\tfrac4n$으로 보고 $|\log F|>1.96\sqrt{4/n}$이면 기각하므로 실제 기각률은 $P\bigl(|Z|\sqrt{2(2+\kappa)/n}>1.96\sqrt{4/n}\bigr)=P\bigl(|Z|>1.96/\sqrt{1+\kappa/2}\bigr)$. Laplace는 $0.215$, 지수는 $0.327$이고, 시뮬레이션의 $n=101$ 값 $0.21$과 $0.31$에 가깝다. 균등($\kappa=-1.2$)이면 $0.002$로 거의 기각하지 못한다.

연습 7.4 (대칭이면 보수적 ★★) $t(3)$ 모집단에서 $t$-구간이 95%보다 많이 포함하는 이유를 $S$의 분포로 설명하라. (힌트: 큰 관측 하나가 $|\bar X-\mu|$보다 $S$를 더 키운다. 명제 7.3.)

풀이

꼬리가 두꺼우면 가끔 아주 큰 관측이 나온다. 그 관측은 $\bar X$를 $M/n$만큼, $S$를 $M/\sqrt n$만큼 움직이므로 $|T|$는 1 근처로 끌려간다(명제 7.3). 정규 이론에서 $|T|$가 큰 경우는 “$\bar X$가 우연히 멀고 $S$가 우연히 작은” 경우인데, 두꺼운 꼬리에서는 $\bar X$가 멀 때 대개 $S$도 크다. 그래서 $|T|>t_{n-1,0.025}$인 경우가 줄어든다. 대칭이므로 7.1절의 한쪽 쏠림도 없다.

연습 7.5 (평균과 분산의 공분산 증명 ★★ 유도형) 명제 7.1를 다음 순서로 증명하라.

1. (a)

   $X_i$를 $X_i-\mu$로 바꿔도 $\Cov(\bar X,S^2)$가 변하지 않음을 보여, $\mu=0$으로 놓아도 됨을 밝혀라. 그때 $\Cov(\bar X,S^2)=E(\bar XS^2)$이다.

2. (b)

   $\mu=0$이면 $E(X_iX_j^2)$는 $i=j$일 때 $\mu_3$, 아니면 0이고, $E(X_iX_jX_k)$는 $i=j=k$일 때 $\mu_3$, 아니면 0임을 독립으로 보여라.

3. (c)

   (b)로 $E\bigl(\bar X\sum_jX_j^2\bigr)=\mu_3$, $E(n\bar X^3)=\tfrac{\mu_3}n$을 보여라.

4. (d)

   $(n-1)S^2=\sum_jX_j^2-n\bar X^2$를 써서 결론을 내려라. 기댓값이 모두 유한한 이유도 밝혀라.

풀이

(a) $X_i$를 $X_i-\mu$로 바꾸면 편차 $X_i-\bar X$는 그대로이므로 $S^2$는 변하지 않고, $\bar X$는 상수 $\mu$만큼 움직인다. 공분산은 상수를 더해도 변하지 않으므로 $\mu=0$으로 놓아도 된다. 그때 $E\bar X=0$이므로 $\Cov(\bar X,S^2)=E(\bar XS^2)$이다. (b) $i\ne j$이면 $X_i\perp X_j^2$이므로 $E(X_iX_j^2)=EX_i\cdot EX_j^2=0$이고, $i=j$이면 $EX_i^3=\mu_3$이다. $E(X_iX_jX_k)$에서 세 첨자 가운데 한 번만 나오는 첨자가 있으면, 그 변수는 나머지와 독립이고 평균이 0이므로 기댓값은 0이다. 세 첨자가 모두 같을 때만 그런 첨자가 없고, 그때 값은 $\mu_3$이다. (c) $E\bigl(\bar X\sum_jX_j^2\bigr)=\tfrac1n\sum_{i,j}E(X_iX_j^2)=\tfrac1n\cdot n\mu_3=\mu_3$이고, $E(n\bar X^3)=\tfrac n{n^3}\sum_{i,j,k}E(X_iX_jX_k)=\tfrac{n\mu_3}{n^2}=\tfrac{\mu_3}n$이다. (d) $(n-1)E(\bar XS^2)=E\bigl(\bar X\sum_jX_j^2\bigr)-E(n\bar X^3)=\mu_3\bigl(1-\tfrac1n\bigr)$이므로 $\Cov(\bar X,\allowbreak S^2)=\tfrac{\mu_3}n$이다. 기댓값이 유한한 것은 AM–GM [T4]로 $|X_iX_jX_k|\le\tfrac13(|X_i|^3+|X_j|^3+|X_k|^3)$이고 $E|X|^3<\infty$이기 때문이다.

연습 7.6 (이상값의 극한 증명 ★★ 유도형) $x_2,\dots,x_n$을 고정하고 $a=\tfrac1n\sum_{i\ge2}x_i$, $b=\sum_{i\ge2}x_i^2$로 둔다. 명제 7.3를 다음 순서로 증명하라 [T8].

1. (a)

   $\bar x=\tfrac Mn+a$임을 보여라.

2. (b)

   $\sum_i(x_i-\bar x)^2=\sum_ix_i^2-n\bar x^2$로 $(n-1)s^2=\tfrac{n-1}nM^2-2aM+b-na^2$을 보여라.

3. (c)

   (b)에서 $s=\tfrac M{\sqrt n}\bigl(1+O(\tfrac1M)\bigr)$을 보여라.

4. (d)

   $t=\tfrac{\sqrt n\,\bar x}{s}\to1$을 결론지어라. $x_1=-M\to-\infty$이면 극한은 무엇인가?

풀이

(a) $\bar x=\tfrac1n(M+\sum_{i\ge2}x_i)=\tfrac Mn+a$. (b) $\sum_ix_i^2=M^2+b$이고 $n\bar x^2=\tfrac{M^2}n+2aM+na^2$이므로 $(n-1)s^2=\tfrac{n-1}nM^2-2aM+b-na^2$이다. (c) $s^2=\tfrac{M^2}n\bigl(1-\tfrac{2an}{(n-1)M}+O(M^{-2})\bigr)$이고 $\sqrt{1+u}=1+O(u)$이므로 $s=\tfrac M{\sqrt n}\bigl(1+O(\tfrac1M)\bigr)$이다 [T8]. (d) $t=\tfrac{\sqrt n(M/n+a)}{(M/\sqrt n)(1+O(1/M))}=\tfrac{1+an/M}{1+O(1/M)}\to1$이다. $x_1=-M$이면 $\bar x=-\tfrac Mn+a$이고 $s$의 주된 항은 그대로이므로 $t\to-1$이다. 이상값 하나는 부호만 남기고 크기를 지운다.

이 절을 PDF로 보기 (24쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례