3회 · 왜 평균을 내는가 · 노트

6 평균의 정확도 — $\sqrt n$√n의 법칙

이제 여는 질문에 답할 도구가 모두 있다. 이 절은 확률벡터의 평균과 공분산행렬로 선형결합의 분산을 한 번에 계산하는 공식을 세우고, 그것으로 $\sqrt n$의 법칙을 증명한다. 그다음 역사로 간다. Simpson이 평균의 이득을 처음 계산한 방법, 그리고 $\sqrt n$을 몰랐던 Pyx 재판이다. 마지막으로 관측들이 서로 닮아 있으면 $\sqrt n$이 어떻게 무너지는지 본다.

6.1 평균벡터와 공분산행렬

정의 6.1 (평균벡터와 공분산행렬) 확률벡터 $\X=(X_1,\dots,X_n)\T$의 성분이 모두 유한한 분산을 가질 때

$$\bmu=E\X=(EX_1,\dots,EX_n)\T,\qquad \Sigma=\Cov\X=E\bigl[(\X-\bmu)(\X-\bmu)\T\bigr],\quad \Sigma_{ij}=\Cov(X_i,X_j)$$

를 평균벡터와 공분산행렬이라 한다. 확률행렬의 기댓값은 성분마다 취한다.

정리 6.2 (선형변환의 평균과 공분산) $A$가 $m\times n$ 상수 행렬, $\bb$가 상수 벡터이면

$$E(A\X+\bb)=A\bmu+\bb,\qquad \Cov(A\X+\bb)=A\Sigma A\T .$$

특히 $\Var(\ba\T\X)=\ba\T\Sigma\ba\ge0$이므로 공분산행렬은 대칭이고 양의 준정부호다.

증명 전략 행렬 곱을 성분으로 풀어 쓰고, 성분마다 기댓값의 선형성(따름정리 1.9)을 쓴다. 단계별 증명은 연습 6.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정리 4.2(c)를 행렬로 쓴 것이다. 5회의 다변량 정규분포 전체가 이 한 줄 위에 선다.

6.2 $\sqrt n$√n의 법칙

정리 6.3 (표본평균의 분산) $X_1,\dots,X_n$의 평균이 모두 $\mu$, 분산이 모두 $\sigma^2$이고 쌍마다 상관이 없으면

$$E\bar X=\mu,\qquad \Var\bar X=\frac{\sigma^2}n,\qquad \sigma_{\bar X}=\frac\sigma{\sqrt n} .$$

증명 $\bar X=\ba\T\X$, $\ba=\tfrac1n\mathbf 1$이고 $\Sigma=\sigma^2I$이므로 정리 6.2로 $\Var\bar X=\tfrac1{n^2}\mathbf 1\T(\sigma^2I)\mathbf 1=\tfrac{\sigma^2}n$.

독립이면 상관이 없으므로(정리 4.2(d)) iid 표본에서 언제나 성립한다. 정확도를 두 배로 하려면 관측을 네 배로 해야 한다. $\sigma/\sqrt n$을 평균의 표준오차라 한다. 6회에서 $\sigma$를 모를 때 이것을 추정하는 법을 배운다.

6.3 Simpson의 계산 (1755, 1757)

역사 수학자 Thomas Simpson은 1755년 왕립학회 회장 Macclesfield 백작에게 보낸 편지 “실용 천문학에서 여러 관측의 평균을 취하는 이점에 대하여”에서, 관측 오차가 몇 개의 정수 값을 정해진 확률로 갖는다고 놓고 여섯 관측의 평균의 오차 분포를 계산했다. 계산 도구는 de Moivre의 생성함수, 곧 합성곱이었다(2회 예제 3.8). 1757년판에서는 오차의 확률이 0에서 멀어질수록 일정하게 줄어드는 삼각형 모형을 썼고, 그 연속판으로 예제 5.6의 삼각형 분포를 처음 다뤘다. 오차를 확률변수로 본 첫 계산이었다.

예제 6.4 (삼각형 오차, 여섯 번의 평균) 오차 $E$가 $-5,\dots,5$(초)의 정수 값을 확률 $\tfrac{6-|e|}{36}$로 갖는다고 하자(1757년의 모형). 한 번 관측의 오차가 1초 이내일 확률은 $\tfrac{5+6+5}{36}\approx0.444$이다. 독립인 여섯 오차의 합의 분포는 합성곱을 다섯 번 하면 나오고(정리 5.5), 평균의 오차가 1초 이내일 확률, 곧 합이 $-6$과 $6$ 사이일 확률은

$$P\bigl(|\bar E_6|\le1\bigr)\approx0.725$$

이다. 2초 이내라면 한 번은 $\tfrac{24}{36}\approx0.667$, 평균은 약 $0.967$이다. $\Var E=\tfrac{35}6$이므로 평균의 표준편차는 정리 6.3로 $\sqrt{35/36}\approx0.99$초로, 한 번의 $2.42$초의 $1/\sqrt6$이다. Simpson의 결론은 “평균을 취하면 오차가 작을 확률이 크게 늘어난다”였다(그림 6.1).

그림 6.1 Simpson(1757)의 삼각형 오차 모형. 한 번 관측의 오차 분포(왼쪽)와 여섯 번 평균의 오차 분포(오른쪽, 합성곱 다섯 번). 빨간 막대가 1초 이내다.

6.4 Pyx 재판 — $n$n과 $\sqrt n$√n

역사 영국 왕립 조폐국은 늦어도 13세기부터 “Pyx 재판”을 열었다. 일정 기간 만든 금화 가운데 일부를 상자(pyx)에 모아 두었다가, 독립적인 배심원 앞에서 무게와 순도를 검사했다. 조폐국장은 계약으로 정해진 허용오차(remedy) 안에 들면 무사했다. 문제는 그 허용오차의 크기였다. 금화 한 개의 허용오차를 $R$이라 할 때, $n$개를 함께 잰 총무게의 허용오차는 $nR$로 정해졌다. Stigler(1977)는 이것이 수백 년 동안 $\sqrt n$이 아니라 $n$에 비례했음을 지적했다.

1848년 재판의 기록(HistData Pyx)은 금화 10,000개 하나하나를 표준 무게와 비교해 여덟 구간으로 분류했다. 한 개의 허용오차는 $R=0.25625$ 그레인이다. 구간 자료에 정규분포를 맞추면 동전 하나의 표준편차는 약 $\sigma\approx0.13$ 그레인, 곧 $R\approx2\sigma$이다(노트북). 금화 10,000개 가운데 $\pm R$을 벗어난 것은 4.5%였다.

이제 조폐국장이 동전마다 $\delta$씩 가볍게 만든다고 하자. 총무게의 편차는 평균 $-n\delta$, 표준편차 $\sigma\sqrt n$이다(정리 6.3). 허용오차가 $nR$이면 검사를 통과하려면 대략 $n\delta+3\sigma\sqrt n<nR$, 곧

$$\delta<R-\frac{3\sigma}{\sqrt n}$$

이면 충분하다. $n=1{,}000$이면 오른쪽은 $0.256-0.012\approx0.244$그레인이다. 동전마다 허용오차의 95%를 깎아도 거의 확실히 통과한다.

허용오차가 $\sqrt n$에 비례해 $3\sigma\sqrt n$이었다면 어떨까? 통과 조건 $|{-n\delta}+\sigma\sqrt n\,Z|\le3\sigma\sqrt n$은 $|Z-\sqrt n\,\delta/\sigma|\le3$과 같으므로, 통과 확률이 절반을 넘으려면 대략 $\delta\le3\sigma/\sqrt n\approx0.012$그레인이어야 한다. 깎을 수 있는 양이 20분의 1로 준다. $n$에 비례하는 허용오차는 동전 하나의 기준을 $n$개에 그대로 늘린 것이지만, 무작위 오차는 서로 상쇄되어 $\sqrt n$으로만 자란다. 상쇄되지 않는 것은 체계적인 $\delta$뿐이다(그림 6.2).

그림 6.2 왼쪽: 1848년 Pyx 재판의 금화 10,000개의 무게 편차(구간 자료)와 맞춘 정규 밀도. 오른쪽: 동전마다 $\delta$씩 가볍게 만들 때 $n=1{,}000$개 총무게가 검사를 통과할 확률. 허용오차가 $nR$이면(파랑) $\delta$가 $R$ 가까이 가도 통과하고, $3\sigma\sqrt n$이면(빨강) 조금만 깎아도 걸린다.

이 틈이 실제로 이용되었는지에 대해 Stigler는 조심스럽다. 1699년부터 1727년까지 조폐국장이었던 Isaac Newton도 이 제도 아래에서 일했다. 분명한 것은, de Moivre(1733)가 이항분포의 흩어짐이 $\sqrt n$에 비례함을 보인 뒤에도 이 사실이 검사 제도에 들어가기까지 오랜 시간이 걸렸다는 것이다.

6.5 상관된 관측 — 유효 표본 크기

정리 6.3은 “상관이 없으면”을 요구한다. 같은 날, 같은 기계, 같은 관측자로 잰 값들은 서로 닮는다.

정리 6.5 (같은 상관을 갖는 관측의 평균) $\Var X_i=\sigma^2$이고 $i\ne j$이면 $\Corr(X_i,X_j)=\rho$일 때

$$\Var\bar X=\frac{\sigma^2}n\bigl(1+(n-1)\rho\bigr)=\sigma^2\Bigl(\rho+\frac{1-\rho}n\Bigr)\ \longrightarrow\ \rho\,\sigma^2\quad(n\to\infty).$$

증명 정리 4.2(c)로 $\Var\sum X_i=n\sigma^2+n(n-1)\rho\sigma^2$이고 $n^2$으로 나눈다.

$\rho>0$이면 관측을 아무리 늘려도 평균의 분산은 $\rho\sigma^2$ 아래로 내려가지 않는다. 같은 분산을 독립인 관측으로 얻으려면 몇 개가 필요한가? $\sigma^2/n_{\text{eff}}=\Var\bar X$를 풀면

$$n_{\text{eff}}=\frac n{1+(n-1)\rho}\ \longrightarrow\ \frac1\rho .$$

$\rho=0.1$이면 1,000개의 관측이 독립인 관측 10개만큼의 정보밖에 담지 못한다.

예제 6.6 (이웃끼리 닮은 관측 — AR(1)) 시간 순서대로 잰 관측에서는 가까운 관측일수록 닮는다. $\Corr(X_i,X_j)=\rho^{|i-j|}$ ($0<\rho<1$)이면(AR(1) 모형, 2회 7.4절) 정리 4.2(c)로

$$\Var\bar X=\frac{\sigma^2}{n^2}\Bigl(n+2\sum_{k=1}^{n-1}(n-k)\rho^k\Bigr)\approx\frac{\sigma^2}n\cdot\frac{1+\rho}{1-\rho}\qquad(n\text{이 클 때})$$

이다(연습 6.5). $\rho=0.9$이면 분산이 19배, 표준오차가 4.4배 커지고, $n_{\text{eff}}\approx n/19$이다. 2회 7.4절의 시뮬레이션에서 본 4.36배가 $\sqrt{19}$이다. MCMC(16회)의 표본이 서로 상관되어 있어 “유효 표본 크기”를 따로 보고하는 이유다.

그림 6.3 왼쪽: 같은 상관 $\rho$를 갖는 관측의 평균의 분산(정리 6.5). $\rho>0$이면 $\rho\sigma^2$에서 바닥에 닿는다. 오른쪽: 유효 표본 크기 $n_{\text{eff}}$는 $1/\rho$을 넘지 못한다.

연습문제

연습 6.1 (공분산행렬 ★) $X_1,X_2,X_3$이 독립이고 분산이 1일 때 $\Y=(X_1+X_2,\ X_2+X_3)\T$의 공분산행렬을 정리 6.2로 구하고, 두 성분의 상관계수를 구하라.

풀이

$A=\smat{1&1&0\\0&1&1}$, $\Sigma=I$이므로 $A A\T=\smat{2&1\\1&2}$. 상관계수는 $\tfrac12$. 두 성분이 $X_2$를 공유하기 때문이다.

연습 6.2 (양의 준정부호 ★★) $\Sigma=\smat{1&\rho\\ \rho&1}$이 공분산행렬이 될 수 있는 $\rho$의 범위를 $\ba\T\Sigma\ba\ge0$에서 구하라. $3\times3$에서 모든 비대각 성분이 $\rho$일 때의 범위는 $-\tfrac12\le\rho\le1$임을 보여라.

풀이

$\ba=(a_1,a_2)$에 대해 $\ba\T\Sigma\ba=a_1^2+2\rho a_1a_2+a_2^2\ge0$이 모든 $\ba$에서 성립할 필요충분조건은 $|\rho|\le1$이다. $3\times3$에서는 $\Sigma=(1-\rho)I+\rho\mathbf 1\mathbf 1\T$로 쓴다. $\ba=\mathbf 1$이면 $\Sigma\mathbf 1=(1+2\rho)\mathbf 1$이고, $\mathbf 1$에 직교하는 $\ba$($\sum a_i=0$)이면 $\Sigma\ba=(1-\rho)\ba$이다. 고윳값이 $1+2\rho$와 $1-\rho$(두 번)이므로 양의 준정부호일 조건은 $-\tfrac12\le\rho\le1$이다. 음의 상관은 변수가 많을수록 강하게 걸 수 없다.

연습 6.3 (Simpson의 1755년 모형 ★) 오차가 $-5,\dots,5$의 정수를 같은 확률로 가지면 한 번의 오차가 1초 이내일 확률과 여섯 번 평균의 오차가 1초 이내일 확률은 얼마인가? 노트북의 합성곱으로 구하라.

풀이

한 번: $\tfrac3{11}\approx0.273$. 여섯 번 평균(합이 $-6$과 $6$ 사이): 합성곱으로 약 $0.589$. 삼각형 모형(예제 6.4)보다 둘 다 작지만 평균의 이득은 더 크다.

연습 6.4 (Pyx 재판의 이득 ★★) $\sigma=0.13$, $R=0.25625$, $n=1{,}000$이다. 허용오차 $nR$ 아래에서 통과 확률이 0.99 이상인 가장 큰 $\delta$를 정규근사로 구하라. 1년에 금화 100만 개를 만든다면 조폐국장이 남길 수 있는 금은 몇 그레인인가?

풀이

통과 확률은 근사적으로 $\Phi\bigl(\sqrt n(R-\delta)/\sigma\bigr)$이다(아래쪽 경계는 무시할 만하다). $0.99$ 이상이려면 $\sqrt n(R-\delta)/\sigma\ge2.326$, 곧 $\delta\le R-2.326\sigma/\sqrt n=0.25625-0.0096\approx0.2467$그레인. 금화 100만 개면 약 $2.47\times10^5$그레인, 트로이 파운드(5,760그레인)로 약 43파운드의 금이다.

연습 6.5 (AR(1)의 분산 ★★) 예제 6.6의 식을 유도하고, $n\Var\bar X/\sigma^2\to\tfrac{1+\rho}{1-\rho}$임을 보여라. (힌트: $\sum_{k\ge1}\rho^k=\tfrac\rho{1-\rho}$와 $\tfrac1n\sum_kk\rho^k\to0$.)

풀이

$\Var\sum X_i=\sigma^2\sum_{i,j}\rho^{|i-j|}=\sigma^2\bigl(n+2\sum_{k=1}^{n-1}(n-k)\rho^k\bigr)$($|i-j|=k$인 쌍은 $2(n-k)$개). $n$으로 나누면 $1+2\sum_{k<n}\rho^k-\tfrac2n\sum_{k<n}k\rho^k\to1+\tfrac{2\rho}{1-\rho}=\tfrac{1+\rho}{1-\rho}$.

연습 6.6 (음의 상관 ★★) $U\sim\mathrm U(0,1)$로 $\int_0^1g$를 추정할 때 $\tfrac12\bigl(g(U)+g(1-U)\bigr)$를 쓰는 것을 대조변량법(antithetic variates)이라 한다. $g$가 단조이면 $\Cov(g(U),g(1-U))\le0$임을 받아들이고, 이 추정량의 분산이 독립인 두 균등 난수를 쓴 것보다 작거나 같음을 보여라. $g(x)=e^x$에서 두 분산을 계산하라.

풀이

$\Var\tfrac12(g(U)+g(1-U))=\tfrac12\Var g(U)+\tfrac12\Cov(g(U),\allowbreak g(1-U))\le\tfrac12\Var g(U)$이고, 오른쪽이 독립인 두 난수의 평균의 분산이다. $g=e^x$: $\Var e^U=\tfrac{e^2-1}2-(e-1)^2\approx0.2420$, $\Cov(e^U,\allowbreak e^{1-U})=e-(e-1)^2\approx-0.2342$. 독립 둘의 평균은 $0.1210$, 대조변량은 $\tfrac12(0.2420-0.2342)\approx0.0039$로 약 31배 작다.

연습 6.7 (선형변환의 평균과 공분산 증명 ★ 유도형) 정리 6.2를 다음 순서로 증명하라.

1. (a)

   $(A\X+\bb)_i=\sum_jA_{ij}X_j+b_i$에 선형성을 써서 $E(A\X+\bb)=A\bmu+\bb$를 보여라.

2. (b)

   $A\X+\bb-E(A\X+\bb)=A(\X-\bmu)$를 확인하라.

3. (c)

   행렬 $A(\X-\bmu)(\X-\bmu)\T A\T$의 $(i,k)$ 성분이 $\sum_j\sum_lA_{ij}(X_j-\mu_j)(X_l-\mu_l)A_{kl}$임을 보이고, 기댓값을 취해 $(A\Sigma A\T)_{ik}$를 얻어라.

4. (d)

   $A=\ba\T$로 두어 $\Var(\ba\T\X)=\ba\T\Sigma\ba\ge0$을 얻고, $\Sigma$가 대칭인 이유를 말하라.

풀이

(a) 선형성으로 $E\bigl[\sum_jA_{ij}X_j+b_i\bigr]=\sum_jA_{ij}\mu_j+b_i=(A\bmu+\bb)_i$이다. (b) (a)를 빼면 $A\X+\bb-A\bmu-\bb=A(\X-\bmu)$이다. (c) $\mathbf v=\X-\bmu$로 두면 $(A\mathbf v)_i=\sum_jA_{ij}v_j$이고 $(\mathbf v\T A\T)_k=\sum_lv_lA_{kl}$이므로 $(A\mathbf v\mathbf v\T A\T)_{ik}=\sum_j\sum_lA_{ij}v_jv_lA_{kl}$이다. 유한합이므로 기댓값이 안으로 들어가고 $E(v_jv_l)=\Sigma_{jl}$이므로 $\sum_j\sum_lA_{ij}\Sigma_{jl}A_{kl}=(A\Sigma A\T)_{ik}$이다. (d) $A=\ba\T$이면 $A\X$는 수 하나이고 그 분산이 $\ba\T\Sigma\ba$이다. 분산은 음이 아니므로 모든 $\ba$에서 $\ba\T\Sigma\ba\ge0$이다. $\Sigma_{ij}=\Cov(X_i,\allowbreak X_j)=\Cov(X_j,\allowbreak X_i)=\Sigma_{ji}$이므로 대칭이다.

이 절을 PDF로 보기 (31쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례