6회 · Student의 t · 노트

2 Student의 정리 — 평균과 분산은 독립이다

역사 독일의 측지학자 Friedrich Robert Helmert는 1876년 정규 관측오차의 제곱합의 분포를 구하면서, 관측을 직교변환해 $\bar X$에 해당하는 성분을 떼어 내는 방법을 썼다. 그는 남은 제곱합이 오늘의 $\chi^2(n-1)$ 분포를 따른다는 것을 보였다. 이 결과는 독일 바깥에 알려지지 않아서, Student(1908)는 같은 사실을 추측으로 놓고 썼고 Fisher(1915)가 $n$차원 기하로 다시 증명했다.

2.1 Helmert 변환

보조정리 2.1 (Helmert 행렬) $n\times n$ 행렬 $H$의 첫 행을 $\tfrac1{\sqrt n}(1,1,\dots,1)$로, $k$번째 행($k=2,\dots,n$)을

$$\frac1{\sqrt{k(k-1)}}\bigl(\underbrace{1,\dots,1}_{k-1},\ -(k-1),\ 0,\dots,0\bigr)$$

로 두면 $H$는 직교행렬이다: $HH\T=I$.

증명 전략 행마다 길이가 1이고 서로 다른 두 행의 내적이 0임을 확인한다. 첫 행과의 내적은 성분의 합에 비례하고, $j<k$인 두 행의 내적은 $j$번째 행의 성분의 합에 비례한다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

행렬의 모양보다 중요한 것은 두 사실이다. 첫 행이 $\mathbf 1/\sqrt n$이고, 나머지 행들은 모두 $\mathbf 1$과 직교한다. 그런 직교행렬이면 무엇이든 아래 증명에 쓸 수 있다.

그림 2.1 표본 $\x$를 대각선 방향 $\mathbf 1$으로 사영하면 $\bar x\mathbf 1$이고, 남는 잔차 $\x-\bar x\mathbf 1$은 대각선에 수직인 $n-1$차원 공간에 놓인다. Helmert 변환은 좌표축을 돌려 첫 축을 대각선에 맞춘 것이다. 정규 표본은 회전해도 독립인 정규이므로, 대각선 성분($\bar X$)과 수직 성분(잔차)이 독립이다.

2.2 Student의 정리

정리 2.2 (Student의 정리 (Helmert 1876, Fisher 1915)) $X_1,\allowbreak \dots,\allowbreak X_n\iid\N(\mu,\allowbreak \sigma^2)$이면

1. (a)

   $\bar X\sim\N(\mu,\sigma^2/n)$,

2. (b)

   $\bar X$와 $S^2$는 독립이다,

3. (c)

   $\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$.

증명 전략 표본을 표준화하고 직교행렬로 돌린다. 돌린 좌표에서 첫 성분은 평균이고, 나머지 성분의 제곱합은 편차제곱합이며, 좌표들은 서로 독립인 표준정규다.

1. $Z_i=(X_i-\mu)/\sigma$로 두면 $\Z\sim\N_n(\mathbf 0,I)$이고 $\bar X=\mu+\sigma\bar Z$, $(n-1)S^2=\sigma^2\sum_i(Z_i-\bar Z)^2$이다. 따라서 $\Z$에 대해 보이면 된다.표준화

2. 보조정리 2.1의 $H$로 $\Y=H\Z$라 하면 $\Y\sim\N_n(\mathbf 0,\allowbreak HIH\T)=\N_n(\mathbf 0,\allowbreak I)$이다.5회 정리 3.8(정리 A)

3. 공분산행렬이 대각이므로 $Y_1,\dots,Y_n$은 독립인 표준정규다.5회 따름정리 3.12

4. 첫 성분은 평균이다: $Y_1=\tfrac1{\sqrt n}\sum_iZ_i=\sqrt n\,\bar Z$.$H$의 첫 행

5. 나머지 성분의 제곱합은 편차제곱합이다.

   $$\begin{align*} \sum_{i=2}^nY_i^2&=\|H\Z\|^2-Y_1^2=\|\Z\|^2-n\bar Z^2 \tag*{\htmlClass{reason}{\text{직교변환은 길이를 보존, \htmlClass{sref}{\text{4}}}}}\\ &=\sum_i(Z_i-\bar Z)^2 \tag*{\htmlClass{reason}{\text{정리~\href{/read/06/1#thm-unbiased}{1.1}의 증명, $\mu=0$}}} \end{align*}$$

6. $\bar Z$는 $Y_1$만의 함수이고 $\sum_i(Z_i-\bar Z)^2$는 $(Y_2,\dots,Y_n)$만의 함수이므로 둘은 독립이다. 이것이 (b)다.3, 3회 3.2절의 상자

7. $Y_1\sim\N(0,1)$이므로 $\bar Z=Y_1/\sqrt n\sim\N(0,\allowbreak \tfrac1n)$이고, 이것이 (a)다.3 4

8. $\sum_{i\ge2}Y_i^2$는 독립인 표준정규 $n-1$개의 제곱합이므로 $\chi^2(n-1)$이고, 이것이 (c)다.3, 4회 정리 3.9

증명이 말하는 것은 기하다(그림 2.1). 표본은 $n$차원 공간의 한 점이고, $\bar X$는 그 점의 대각선 방향 성분, $S^2$는 대각선에서의 거리의 제곱이다. 표준정규 벡터의 분포는 원점을 중심으로 회전에 불변이므로(5회), 서로 수직인 방향의 성분들은 독립이다. 자유도 $n-1$은 대각선에 수직인 공간의 차원이다.

증명 없이 쓰는 사실 (독립은 정규분포만의 성질이다) $\bar X$와 $S^2$가 독립인 것은 정규 표본에서만 일어난다. 독립이면 모집단이 정규라는 역(Geary 1936, Lukacs 1942)이 성립한다. 증명은 특성함수의 미분방정식을 쓴다. 예를 들어 지수 표본에서는 $\bar X$가 클 때 $S^2$도 크다(연습 2.3). 11회에서 Basu의 정리로 (b)를 다시 증명한다.

따름정리 2.3 (정규 표본에서 $S^2$의 적률) 정리 2.2의 조건에서 $ES^2=\sigma^2$, $\Var S^2=\dfrac{2\sigma^4}{n-1}$이다.

증명 $\chi^2(r)$의 평균 $r$, 분산 $2r$ (4회 정의 3.8)에 $S^2=\tfrac{\sigma^2}{n-1}\chi^2(n-1)$을 넣는다.

$S^2$의 상대 표준편차는 $\sqrt{2/(n-1)}$이다. $n=4$이면 82%다. 네 개로 잰 분산은 참값의 두 배나 절반이 흔하다. 이 흔들림이 1절의 포함확률 손실의 원인이다.

연습문제

연습 2.1 ($n=3$의 Helmert ★) $n=3$의 Helmert 행렬을 쓰고 $HH\T=I$를 확인하라. $Y_2^2+Y_3^2=\sum_i(Z_i-\bar Z)^2$을 직접 전개해 보여라.

풀이

$$H=\begin{pmatrix}\tfrac1{\sqrt3}&\tfrac1{\sqrt3}&\tfrac1{\sqrt3}\\[2pt]\tfrac1{\sqrt2}&-\tfrac1{\sqrt2}&0\\[2pt]\tfrac1{\sqrt6}&\tfrac1{\sqrt6}&-\tfrac2{\sqrt6}\end{pmatrix}.$$

각 행의 제곱합은 1이고 서로 다른 행의 내적은 $\tfrac1{\sqrt6}(1-1)$, $\tfrac1{\sqrt{18}}(1+1-2)$, $\tfrac1{\sqrt{12}}(1-1)$로 모두 0이다. $Y_2=\tfrac{Z_1-Z_2}{\sqrt2}$, $Y_3=\tfrac{Z_1+Z_2-2Z_3}{\sqrt6}$이므로

$$Y_2^2+Y_3^2=\frac{3(Z_1-Z_2)^2+(Z_1+Z_2-2Z_3)^2}6=\frac23\Bigl(\sum_iZ_i^2-Z_1Z_2-Z_1Z_3-Z_2Z_3\Bigr).$$

한편 $\sum(Z_i-\bar Z)^2=\sum Z_i^2-\tfrac13\bigl(\sum Z_i\bigr)^2=\tfrac23\sum Z_i^2-\tfrac23\sum_{i<j}Z_iZ_j$로 같다.

연습 2.2 (잔차와 평균의 무상관 ★) 분포와 상관없이 $\Cov(\bar X,\ X_i-\bar X)=0$임을 보여라(3회 정리 4.2). 정규 표본이면 이것과 5회 정리 B로 $\bar X$와 잔차벡터 $(X_1-\bar X,\dots,X_n-\bar X)$가 독립임을 결론지어라. 정리 2.2(b)의 둘째 증명이다.

풀이

$\Cov(\bar X,\allowbreak X_i)=\tfrac1n\sum_j\Cov(X_j,\allowbreak X_i)=\tfrac{\sigma^2}n$이므로 $\Cov(\bar X,\allowbreak X_i-\bar X)=\tfrac{\sigma^2}n-\Var\bar X=0$. 정규 표본이면 $(\bar X,\allowbreak X_1-\bar X,\allowbreak \dots,\allowbreak X_n-\bar X)\T$는 $\X$의 선형변환이므로 결합정규(5회 정리 A)이고, $\bar X$와 잔차벡터 사이의 공분산 블록이 0이므로 5회 정리 B로 독립이다. $S^2$는 잔차벡터의 함수이므로 $\bar X\perp S^2$.

연습 2.3 (지수 표본에서는 의존한다 ★★) $X_1,X_2\iid\mathrm{Exp}(1)$이면 $\bar X=\tfrac{X_1+X_2}2$, $S^2=\tfrac{(X_1-X_2)^2}2$이다. $\Cov(\bar X,S^2)$를 계산해 0이 아님을 보여라. (힌트: $E(X_1^2X_2)=EX_1^2\,EX_2$, $EX^3=6$.)

풀이

$EX=1$, $EX^2=2$, $EX^3=6$. $(X_1+X_2)(X_1-X_2)^2=X_1^3+X_2^3-X_1^2X_2-X_1X_2^2$이므로 독립으로 기댓값은 $6+6-2-2=8$. $\bar XS^2=\tfrac{(X_1+X_2)(X_1-X_2)^2}4$이므로 $E(\bar XS^2)=2$. $E\bar X=1$, $ES^2=\Var X=1$이므로 $\Cov(\bar X,S^2)=2-1=1\ne0$. 큰 평균은 큰 흩어짐과 함께 온다(7절 명제 7.1의 $\mu_3/n=2/2$).

연습 2.4 (표본표준편차의 평균 ★★) 정규 표본에서 $ES=c_4(n)\sigma$, $c_4(n)=\sqrt{\tfrac2{n-1}}\,\tfrac{\Gamma(n/2)}{\Gamma((n-1)/2)}$임을 보여라. (힌트: $V\sim\chi^2(r)$이면 $E\sqrt V$를 감마 밀도의 적분으로 구한다. 4회 연습 3.4.) $c_4(4)$와 $c_4(10)$을 계산하라.

풀이

$V=(n-1)S^2/\sigma^2\sim\chi^2(r)$, $r=n-1$이면 $S=\sigma\sqrt{V/r}$이고

$$E\sqrt V=\int_0^\infty v^{1/2}\frac{v^{r/2-1}e^{-v/2}}{\Gamma(r/2)2^{r/2}}\,dv=\frac{\Gamma\bigl(\frac{r+1}2\bigr)2^{(r+1)/2}}{\Gamma(r/2)2^{r/2}}=\sqrt2\,\frac{\Gamma\bigl(\frac{r+1}2\bigr)}{\Gamma\bigl(\frac r2\bigr)} .$$

$r=n-1$을 넣으면 $ES=\sigma\sqrt{\tfrac2{n-1}}\tfrac{\Gamma(n/2)}{\Gamma((n-1)/2)}$. $c_4(4)=\sqrt{\tfrac23}\tfrac{\Gamma(2)}{\Gamma(3/2)}=\sqrt{\tfrac23}\cdot\tfrac2{\sqrt\pi}=0.921$, $c_4(10)=\sqrt{\tfrac29}\tfrac{\Gamma(5)}{\Gamma(9/2)}=0.973$.

연습 2.5 (신뢰구간의 씨앗 — $\sigma^2$ ★★) 정리 2.2(c)로 $\sigma^2$에 대한 95% 구간 $\Bigl[\tfrac{(n-1)S^2}{\chi^2_{n-1,0.025}},\allowbreak \ \tfrac{(n-1)S^2}{\chi^2_{n-1,0.975}}\Bigr]$을 만들고, 포함확률이 정확히 0.95임을 보여라($\chi^2_{r,p}$는 위쪽 $p$ 분위수). $n=4$, $s^2=1$이면 구간은?

풀이

정리 2.2(c)로 $P\bigl(\chi^2_{n-1,0.975}\le\tfrac{(n-1)S^2}{\sigma^2}\le\chi^2_{n-1,0.025}\bigr)=0.95$이고, 괄호 안을 $\sigma^2$에 대해 풀면 주어진 구간이다. $\mu$와 $\sigma$에 상관없이 성립한다. $n=4$이면 $\chi^2_{3,0.975}=0.216$, $\chi^2_{3,0.025}=9.348$이므로 구간은 $[3/9.348,\allowbreak \ 3/0.216]=[0.321,\allowbreak \ 13.90]$. 네 관측으로는 분산을 40배 넘는 범위로밖에 말할 수 없다.

연습 2.6 (Helmert 행렬의 직교성 증명 ★ 유도형) 보조정리 2.1를 다음 순서로 증명하라.

1. (a)

   첫 행과 $k$번째 행($k\ge2$)의 길이가 1임을 보여라.

2. (b)

   첫 행과 $k$번째 행의 내적이 $k$번째 행의 성분의 합에 비례하고, 그 합이 0임을 보여라.

3. (c)

   $2\le j<k$이면 $j$번째 행의 0이 아닌 성분은 처음 $j$개이고, 그 자리에서 $k$번째 행의 성분은 모두 같다. 이것으로 두 행의 내적이 0임을 보여라.

4. (d)

   정사각행렬에서 $HH\T=I$이면 $H\T H=I$임을 밝히고, 이것으로 모든 벡터 $\z$에서 $\|H\z\|=\|\z\|$임을 보여라. 정리 2.2의 증명에서 이 사실을 어디에 쓰는가?

풀이

(a) 첫 행의 길이의 제곱은 $n\cdot\tfrac1n=1$이다. $k$번째 행은 1이 $k-1$개, $-(k-1)$이 하나이므로 $\tfrac{(k-1)+(k-1)^2}{k(k-1)}=\tfrac{(k-1)k}{k(k-1)}=1$이다. (b) 첫 행의 성분은 모두 $\tfrac1{\sqrt n}$이므로 내적은 $\tfrac1{\sqrt n}\cdot\tfrac1{\sqrt{k(k-1)}}\bigl[(k-1)-(k-1)\bigr]=0$이다. (c) $j$번째 행은 처음 $j$자리에만 0이 아닌 성분이 있다. $j\le k-1$이므로 그 자리에서 $k$번째 행의 성분은 모두 $\tfrac1{\sqrt{k(k-1)}}$이다. 내적은 이 상수와 $j$번째 행의 성분의 합의 곱이고, 그 합은 $\tfrac1{\sqrt{j(j-1)}}\bigl[(j-1)-(j-1)\bigr]=0$이다. (d) (a)–(c)는 $HH\T=I$이다. $\det H\cdot\det H\T=1$이므로 $H$는 가역이고, $H\T$는 $H$의 오른쪽 역행렬이므로 곧 역행렬이다. 따라서 $H\T H=I$이고 $\|H\z\|^2=\z\T H\T H\z=\|\z\|^2$이다. 정리 2.2의 증명 5에서 $\|H\Z\|^2=\|\Z\|^2$로 쓴다.

이 절을 PDF로 보기 (6쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례