3회 · 왜 평균을 내는가 · 노트

7 부숴보기 — 평균이 통하지 않을 때

7.1 확률 0인 사건에 조건을 걸면 — Borel의 역설

1회 7.3절은 연속 확률변수에서 $P(X=x)=0$이어서 “$X=x$일 때”를 1회 정의 5.1로 말할 수 없다고 했다. 정의 2.2는 밀도의 비로 이 문제를 피했다. 그러나 그 정의에는 대가가 있다. 어떤 변수로 조건을 거느냐에 따라, 같은 확률 0인 사건에 대한 조건부분포가 달라질 수 있다.

예제 7.1 (구 위의 점과 대원 (Borel 1909, Kolmogorov 1933)) 구면 위에 고르게 퍼진 점을 경도 $\Lambda\in(-\pi,\pi]$와 위도 $\Phi\in(-\tfrac\pi2,\allowbreak \tfrac\pi2)$로 나타내자. 넓이 요소가 $\cos\varphi\,d\lambda\,d\varphi$이므로(극좌표의 구면판) 결합밀도는

$$f(\lambda,\varphi)=\frac{\cos\varphi}{4\pi},$$

인수분해로 $\Lambda\sim\mathrm U(-\pi,\allowbreak \pi)$와 $\Phi$(밀도 $\tfrac12\cos\varphi$)는 독립이다.

적도에 조건을 걸면. $\Phi=0$일 때 $\Lambda$의 조건부 밀도는 $f(\lambda,\allowbreak 0)/f_\Phi(0)=\tfrac1{2\pi}$, 곧 적도 위에서 균등하다. 대칭으로 보아 당연하다.

자오선에 조건을 걸면. $\Lambda=0$(그리고 반대편 $\Lambda=\pi$)일 때 $\Phi$의 조건부 밀도는 $f(0,\allowbreak \varphi)/f_\Lambda(0)=\tfrac12\cos\varphi$, 곧 자오선이라는 대원 위에서 균등하지 않다. 극 근처보다 적도 근처에 몰린다.

그런데 적도와 자오선은 회전으로 겹치는 같은 종류의 대원이다. “점이 이 대원 위에 있다는 조건에서의 분포”는 하나여야 할 것 같은데 답이 둘이다.

그림 7.1 Borel의 역설. 적도 근처의 띠 $\{|\Phi|<\varepsilon\}$(왼쪽)는 폭이 일정하지만, 자오선 근처의 쐐기 $\{|\Lambda|<\varepsilon\}$(오른쪽)는 극으로 갈수록 좁아진다. 두 극한이 서로 다른 조건부분포를 준다.

해결은 2.1절의 극한에 있다. 조건부 밀도는 “확률이 양수인 근처의 사건”에 조건을 걸고 극한을 취한 것이었다. $\Phi=0$의 근처는 폭이 일정한 띠지만, $\Lambda=0$의 근처는 극으로 갈수록 좁아지는 쐐기다(그림 7.1). 쐐기에는 적도 근처의 점이 더 많이 들어가므로 극한도 그쪽으로 기운다. 확률 0인 사건에 대한 조건부분포는 그 사건 하나로 정해지지 않고, 그 사건을 어떤 확률변수의 값으로 보느냐로 정해진다. Kolmogorov(1933)는 이 역설을 근거로 조건부기댓값을 “사건”이 아니라 “확률변수”(σ-대수)에 대해 정의했다. 이 과정에서는 늘 “어떤 변수의 값으로 조건을 거는지”를 밝힌다.

7.2 상관이 0이어도

정리 6.3은 상관만 없으면 되었다. 그러나 상관이 없는 것과 독립인 것은 다르다(예제 4.7). 평균의 분산은 상관만 보지만, 평균의 분포는 그렇지 않다. $X\sim\mathrm U(-1,1)$로 $X_1=X$, $X_2=X^2-\tfrac13$을 만들면 둘은 상관이 없고 $\Var(X_1+X_2)=\Var X_1+\Var X_2$이다. 그러나 $X_1$을 알면 $X_2$가 정해지므로 mgf가 곱이 되지 않고(정리 3.4(d)는 독립을 요구한다), 7회의 중심극한정리도 상관이 없다는 것만으로는 성립하지 않는다.

7.3 평균으로 줄지 않는 오차 — Michelson과 Cavendish

$\sqrt n$의 법칙은 오차의 흩어짐을 줄인다. 오차의 평균, 곧 측정 방법 자체의 치우침(편향)은 줄이지 못한다. $X_i=\theta+b+\varepsilon_i$이면 $\bar X\to\theta+b$이다.

예제 7.2 (빛의 속도와 지구의 밀도) 

Michelson (1879). Albert Michelson은 1879년 6–7월 Annapolis에서 공기 중의 빛의 속도를 100번 쟀다(HistData Michelson, km/s에서 299,000을 뺀 값). 평균은 $852.4$, 표준편차 $79.0$이므로 평균의 표준오차는 $7.9$이다. 오늘의 값을 같은 척도로 옮긴 “참값”은 $734.5$이다(Stigler 1977). 평균은 참값에서 표준오차의 15배 떨어져 있다. 100번의 평균이 우연히 이렇게 빗나갈 수는 없다. 측정에 체계적 오차가 있었다.

Cavendish (1798). Henry Cavendish는 비틀림 저울로 지구의 평균 밀도를 29번 쟀다(HistData Cavendish, 오기 하나를 바로잡은 density2). 평균은 $5.482$, 표준오차는 $0.038$이고 오늘의 값 $5.513$과의 차이는 표준오차의 $0.8$배다. 이쪽은 편향의 증거가 없다.

두 실험 모두 관측을 늘리면 표준오차는 줄었을 것이다. 그러나 Michelson의 평균은 아무리 관측을 늘려도 $734.5$로 가지 않는다. 표준오차는 “같은 방법으로 다시 재면 얼마나 달라질까”를 말할 뿐, “참값에서 얼마나 먼가”를 말하지 않는다.

그림 7.2 Michelson(왼쪽)과 Cavendish(오른쪽)의 측정값, 평균 $\pm2$ 표준오차(파랑), 오늘의 값(빨간 점선). 표준오차는 흩어짐만 잰다.

7.4 평균을 내도 좁아지지 않는다 — Cauchy

정리 5.8의 Cauchy 분포에는 분산이 없으므로 정리 6.3을 쓸 수 없다. 실제로 두 Cauchy의 평균은 다시 같은 Cauchy다(연습 5.4). 측정 오차가 “두 정규 잡음의 비”처럼 생긴 장치라면, 평균을 내는 것은 아무 소용이 없다. 이럴 때 쓸 수 있는 것은 중앙값이다(15회).

연습문제

연습 7.1 (위도의 분포 ★) 예제 7.1에서 $\Phi$의 주변 밀도가 $\tfrac12\cos\varphi$임을 보이고, 1회 연습 3.3의 “넓이에 고르게”의 답 $P(\Phi\ge60^\circ)=\tfrac{1-\sqrt3/2}{2}$을 다시 구하라.

풀이

$f_\Phi(\varphi)=\int_{-\pi}^{\pi}\tfrac{\cos\varphi}{4\pi}d\lambda=\tfrac12\cos\varphi$. $P(\Phi\ge\tfrac\pi3)=\tfrac12\bigl(1-\sin\tfrac\pi3\bigr)=\tfrac{1-\sqrt3/2}2\approx0.067$.

연습 7.2 (같은 직선, 다른 조건 ★★) $X,Y\iid\N(0,1)$일 때, 사건 $\{X=Y\}$에 대해 (a) $D=X-Y$로 보고 $D=0$에 조건을 건 $X$의 조건부분포, (b) $Q=Y/X$로 보고 $Q=1$에 조건을 건 $X$의 조건부 밀도를 구하라. (a)는 $\N(0,\tfrac12)$, (b)는 밀도가 $|x|e^{-x^2}$이다. 같은 직선 $\{X=Y\}$에서 답이 다르다.

풀이

(a) $(X,D)$, $D=X-Y$의 역변환 $y=x-d$의 야코비안은 1이므로 $f_{X,D}(x,\allowbreak 0)=\phi(x)^2\propto e^{-x^2}$, 곧 $\N(0,\tfrac12)$. (b) $(X,Q)$, $Q=Y/X$의 역변환 $y=qx$의 야코비안은 $|x|$이므로 $f_{X,Q}(x,\allowbreak 1)=\phi(x)^2|x|\propto|x|e^{-x^2}$이고, $\int|x|e^{-x^2}dx=1$이므로 밀도는 $|x|e^{-x^2}$. 같은 직선 $\{X=Y\}$인데 (b)는 0 근처에서 0이다. $Q$로 보면 원점 근처의 “쐐기”가 좁기 때문이다.

연습 7.3 (편향과 분산 ★) $X_i=\theta+b+\varepsilon_i$, $\varepsilon_i$ iid 평균 0 분산 $\sigma^2$일 때 $E(\bar X-\theta)^2=b^2+\sigma^2/n$임을 보여라. Michelson의 자료에서 $b$와 $\sigma/\sqrt n$의 크기를 비교하라.

풀이

$\bar X-\theta=b+\bar\varepsilon$이고 $E\bar\varepsilon=0$, $\Var\bar\varepsilon=\sigma^2/n$이므로 $E(\bar X-\theta)^2=b^2+\sigma^2/n$(2회 정리 2.2(c)). Michelson: $b\approx852.4-734.5=117.9$, $\sigma/\sqrt n\approx7.9$. 평균제곱오차의 99% 이상이 편향이다.

연습 7.4 (Michelson의 다섯 묶음 ★★) Stigler는 Michelson의 100개를 시간 순서대로 20개씩 다섯 묶음으로 나눴다(MichelsonSets). 묶음 평균의 표준편차를 계산하고, 관측이 독립이라면 기대되는 $79/\sqrt{20}\approx17.7$과 비교하라. 노트북으로 계산하고 무엇을 결론지을 수 있는지 말하라.

풀이

묶음 평균은 $852.5,\allowbreak \ 854.5,\allowbreak \ 858.5,\allowbreak \ 857.0,\allowbreak \ 839.5$이고 표준편차는 약 $7.6$으로, 독립이라면 기대되는 $17.7$보다 오히려 작다(다섯 개로 잰 표준편차는 그 자체로 많이 흔들린다는 점을 감안해야 한다). 묶음 사이의 흔들림이 크다는 증거는 없다. 15 표준오차의 어긋남은 날마다 달라지는 오차가 아니라 다섯 묶음 모두에 같이 들어 있는 상수, 곧 편향이었다.

이 절을 PDF로 보기 (37쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례