5회 · 정규분포의 탄생과 Galton의 타원 · 노트

5 부숴보기 — 가정을 하나씩 빼면

Legend13의 ablation study처럼, 정리의 가정을 하나씩 빼서 무엇이 무너지는지 본다.

5.1 '결합'을 빼면: 주변은 정규, 결합은 아니다

예제 5.1 (부호를 섞은 쌍) $X\sim\N(0,1)$, $S$는 $X$와 독립이고 $P(S=1)=P(S=-1)=\tfrac12$, $Y=SX$라 하자.

1. (i)

   $Y\sim\N(0,1)$: $P(Y\le y)=\tfrac12P(X\le y)+\tfrac12P(-X\le y)=\tfrac12\Phi(y)+\tfrac12\Phi(y)=\Phi(y)$ ($-X\sim\N(0,1)$).

2. (ii)

   무상관: $\Cov(X,\allowbreak Y)=E[SX^2]=E[S]\,E[X^2]=0$.

3. (iii)

   종속: $|Y|=|X|$이므로 $P(|X|>2,\allowbreak \ |Y|\le1)=0\ne P(|X|>2)\,P(|Y|\le1)$.

4. (iv)

   결합정규가 아니다: $X+Y=(1+S)X$는 확률 $\tfrac12$로 정확히 $0$이므로 정규가 아니다. 결합정규라면 정리 3.10($\ba=(1,1)$)에 의해 $X+Y$가 정규여야 한다.

예제 5.2 (스위치 쌍) $c>0$에 대해 $Y=X$ ($|X|\le c$), $Y=-X$ ($|X|>c$)로 두자. 대칭성으로 $Y\sim\N(0,1)$이다. $x\varphi(x)=-\varphi'(x)$와 부분적분으로

$$E\bigl[X^2;\,|X|\le c\bigr]=\int_{-c}^{c}x\cdot x\varphi(x)\,dx=\Bigl[-x\varphi(x)\Bigr]_{-c}^{c}+\int_{-c}^{c}\varphi(x)\,dx=2\Phi(c)-1-2c\,\varphi(c).$$

따라서 $\Cov(X,\allowbreak Y)=E[X^2;|X|\le c]-E[X^2;|X|>c]=2E[X^2;|X|\le c]-1$이고, 이 값이 $0$이 되는 $c^\ast=1.5382$에서 $X$와 $Y$는 무상관이다. 그런데 $Y$는 $X$의 함수다. 결합정규였다면 정리 3.11로 독립이어야 하지만, 예제 5.1(iii)과 같은 논리로 독립이 아니다.

그림 5.1 두 반례. 주변분포는 완벽한 표준정규, 상관은 0인데 점들은 선 위에 있다. 가운데: $X+Y$의 절반이 정확히 0이다.

가정 주의 실제 데이터에서 “변수마다 히스토그램이 종 모양이니 다변량 정규”라고 말하는 것은 결합정규 가정을 건너뛰는 일이다. 정리 B·C·D는 모두 이 가정 위에 서 있다.

연습문제

연습 5.1 (제곱의 공분산 ★) 예제 5.1에서 $\Cov(X^2,Y^2)=2$임을 보여라. 상관이 $0$이라도 종속을 드러내는 함수가 있다.

풀이

$Y^2=X^2$이므로 $\Cov(X^2,\allowbreak Y^2)=\Var X^2=EX^4-(EX^2)^2=3-1=2$.

5.2 정규를 약하게: 오염된 정규

명제 5.3 (오염된 정규의 적률) $0<\varepsilon<1$, $\sigma_c>1$에 대해 밀도 $f(x)=(1-\varepsilon)\varphi(x)+\tfrac{\varepsilon}{\sigma_c}\varphi(x/\sigma_c)$를 갖는 $X$는

$$EX=0,\qquad \Var X=1+\varepsilon(\sigma_c^2-1),\qquad \frac{EX^4}{(\Var X)^2}=\frac{3\bigl[(1-\varepsilon)+\varepsilon\sigma_c^4\bigr]}{\bigl[(1-\varepsilon)+\varepsilon\sigma_c^2\bigr]^2}.$$

증명 숨은 지시변수 $I\sim$ Bernoulli$(\varepsilon)$를 두고 $X\mid I=0\sim\N(0,1)$, $X\mid I=1\sim\N(0,\sigma_c^2)$로 쓰면 $f$가 $X$의 밀도다. 반복기댓값으로 $EX^k=(1-\varepsilon)E Z^k+\varepsilon\,\sigma_c^kEZ^k$이고, 정리 1.8(ii)의 $EZ^2=1$, $EZ^4=3$을 넣는다.

$\varepsilon=0.1$, $\sigma_c=3$이면 분산 $1.8$, 첨도 $3\cdot9/3.24=8.33$이다(정규는 3). 밀도 그림으로는 거의 구별되지 않지만 꼬리는 전혀 다르다(그림 5.2). 같은 분산의 이변량 정규라고 착각하고 99% 타원을 그리면 실제로 밖에 떨어지는 비율은 1%가 아니라 4.0%다(연습 5.2). 15회에서 Tukey(1960)가 보인 대로, 이 정도 오염만으로도 표준편차보다 평균절대편차가 나은 추정량이 된다.

그림 5.2 오염된 정규($\varepsilon=0.1,\sigma_c=3$)와 같은 분산의 정규. 로그 척도에서 꼬리의 차이가 드러난다.

연습문제

연습 5.2 (오염된 이변량 정규의 꼬리 ★★) $\X\mid I=0\sim\N_2(\mathbf0,\allowbreak I)$, $\X\mid I=1\sim\N_2(\mathbf0,\allowbreak 9I)$, $P(I=1)=0.1$이다. 분석가가 이를 $\N_2(\mathbf0,1.8I)$로 착각해 $Q=\|\X\|^2/1.8$을 계산한다. $P(Q>\chi^2_{0.99}(2))$를 정확히 구하라($\chi^2_{0.99}(2)=9.210$). (힌트: $\|\X\|^2/\sigma^2\sim\chi^2(2)$의 꼬리는 $e^{-x/2}$.)

풀이

$I=0$이면 $\|\X\|^2\sim\chi^2(2)$, $I=1$이면 $\|\X\|^2/9\sim\chi^2(2)$이고, $P(\chi^2(2)>x)=e^{-x/2}$이다. $q=9.210$에서 $\|\X\|^2>1.8q=16.58$일 확률은

$$0.9\,e^{-16.58/2}+0.1\,e^{-16.58/18}=0.9\times0.00025+0.1\times0.398=0.0400,$$

으로 명목 1%의 네 배다.

5.3 한 집단이 아니면: 혼합과 Galton의 ×1.08

Galton이 딸의 키에 1.08을 곱하지 않았다면 자녀 키는 두 정규의 혼합(4회 5절)이다.

명제 5.4 (두 정규 혼합의 평균과 분산) 확률 $\pi$로 $\N(\mu_1,\sigma_1^2)$, 확률 $1-\pi$로 $\N(\mu_2,\sigma_2^2)$에서 뽑은 $X$는

$$EX=\pi\mu_1+(1-\pi)\mu_2,\qquad \Var X=\underbrace{\pi\sigma_1^2+(1-\pi)\sigma_2^2}_{E[\Var(X\mid I)]}+\underbrace{\pi(1-\pi)(\mu_1-\mu_2)^2}_{\Var(E[X\mid I])}.$$

증명 집단 지시변수 $I$에 대한 전분산 공식이다. $E[X\mid I]$는 확률 $\pi,1-\pi$로 $\mu_1,\mu_2$를 갖는 이점분포이므로 분산이 $\pi(1-\pi)(\mu_1-\mu_2)^2$.

예제 5.5 (GaltonFamilies의 아들과 딸) 아들 481명(평균 69.23, 표준편차 2.62), 딸 453명(평균 64.10, 표준편차 2.35)이다. 명제 5.4로 합친 분산은 약 $12.8$(표준편차 3.58)이고, 그 가운데 절반 가까이($\pi(1-\pi)(\mu_1-\mu_2)^2\approx6.6$)가 성별의 평균 차이에서 온다. 딸에 1.08을 곱하면 평균이 $69.23$으로 같아지고 이 항이 사라진다. 평균의 비는 정확히 $69.23/64.10=1.080$이고, 표준편차는 $2.35\times1.08=2.54$로 아들의 $2.62$와 비슷해진다. 합친 분포의 초과첨도(첨도$-3$)는 $-0.50$(정규보다 납작)에서 $+0.25$로 $0$에 가까워진다.

연습문제

연습 5.3 (혼합분산의 수치 ★) 예제 5.5의 수치로 명제 5.4의 세 항을 계산하라. 딸에 1.08을 곱한 뒤에는 어떻게 되는가?

풀이

$\pi=481/934=0.515$이다.

$$\begin{align*} \text{집단 내}&=0.515\,(2.62)^2+0.485\,(2.35)^2=6.22, & \text{집단 간}&=0.515\times0.485\times(5.13)^2=6.57, \end{align*}$$

합은 $12.80$(표준편차 $3.58$). 딸에 1.08을 곱한 뒤에는 집단 내 $6.67$, 집단 간 거의 $0$, 합 $6.67$(표준편차 $2.58$)이다.

5.4 $\Sigma$Σ가 특이하면: 밀도는 없어도 정규다

명제 5.6 (특이 정규분포의 받침) $\X\sim\N_n(\bmu,\Sigma)$이고 $\operatorname{rank}\Sigma=r<n$이면 $P\bigl(\X-\bmu\in\col(\Sigma)\bigr)=1$이다. $\col(\Sigma)$는 $r$차원 부분공간이므로 $\X$는 $\R^n$에서 밀도를 갖지 않는다.

증명 정리 3.5의 구성 $\X-\bmu=A\Z$에서 $A\Z\in\col(A)$이고, $\col(A)=\col(AA\T)=\col(\Sigma)$이다(둘의 영공간이 같다: $AA\T\mathbf v=0\Rightarrow\|A\T\mathbf v\|^2=0$). 차원이 $r<n$인 부분공간은 르베그 측도가 $0$인데 확률은 $1$이므로, 밀도가 있다면 모순이다.

연습문제

연습 5.4 (직선 위의 정규 ★) $\X\sim\N_2(\mathbf 0,\Sigma)$일 때 $\Var(\ba\T\X)=0$인 $\ba$를 찾고, $\X$가 놓이는 직선을 구하라. $\X$의 mgf는 무엇인가?

$$\Sigma=\begin{pmatrix}1&2\\2&4\end{pmatrix}$$

풀이

$\ba=(2,-1)\T$이면 $\Sigma\ba=(2-2,\allowbreak \,4-4)\T=\mathbf0$이므로 $\X$는 직선 $x_2=2x_1$ 위에 있다. $\bt\T\Sigma\bt=t_1^2+4t_1t_2+4t_2^2=(t_1+2t_2)^2$이므로 $M_{\X}(\bt)=\exp\{\tfrac12(t_1+2t_2)^2\}$이고, 이는 $X_1\sim\N(0,1)$, $X_2=2X_1$의 mgf다.

이 절을 PDF로 보기 (37쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례