5회 · 정규분포의 탄생과 Galton의 타원 · 노트

0 들어가며

여는 질문. 키 큰 부모의 자녀는 왜 부모보다 덜 클까? 그리고 키 큰 자녀의 부모는 왜 자녀보다 덜 클까?

두 번째 질문이 이상하게 들린다면 좋은 출발이다. 첫 번째 질문에는 “유전이 평균으로 끌어당긴다”는 생물학적 이야기를 지어낼 수 있지만, 두 번째 질문은 시간을 거꾸로 거슬러 올라간다. 자녀가 부모를 끌어당길 수는 없다. 이 노트가 끝날 때 두 질문은 같은 답을 갖는다. 답은 생물학이 아니라 타원 하나의 기하다.

정규분포는 처음에 오차의 분포였다. de Moivre는 동전 던지기의 근사로(1733), Gauss는 천문 관측 오차의 법칙으로(1809), Laplace는 작은 오차들의 합의 극한으로(1810) 정규분포에 도달했다. 19세기 후반 Galton은 같은 분포를 사람의 변이와 유전에 썼고, 그 과정에서 회귀와 상관이 태어났다(1886, 1888). 이 노트는 두 시대를 하나의 수학, 곧 다변량 정규분포의 조건부분포로 묶는다.

학습 목표

1. 1.

   정규분포가 태어난 세 경로(de Moivre 근사, Gauss의 특성화, Laplace의 CLT)를 수학으로 설명한다.

2. 2.

   다변량 정규분포를 mgf로 정의하고 선형변환·독립·조건부·이차형식 네 정리를 증명한다.

3. 3.

   조건부분포 공식에서 평균으로의 회귀를 유도하고 Galton의 1886년 원자료로 확인한다.

4. 4.

   같은 공식이 GP 회귀, PCA, 백색화, VAE에서 어떻게 다시 나타나는지 설명한다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 선수 지식 복습

이 노트에서 계속 쓰는 세 가지 도구를 정리한다. 모두 앞 회차에서 증명했다. 보조정리마다 어디서 증명했는지 밝힌다.

보조정리 0.1 (적률생성함수(mgf)의 성질 — 2회 3절, 3회 정리 3.4) 확률변수 $X$의 mgf $M_X(t)=E\,e^{tX}$가 $0$의 근방 $|t|<h$에서 존재한다고 하자.

1. (a)

   유일성. 두 확률변수의 mgf가 $0$의 근방에서 같으면 두 분포는 같다.

2. (b)

   적률. $M_X^{(k)}(0)=E X^k$. 특히 $\psi(t)=\log M_X(t)$라 하면 $\psi'(0)=EX$, $\psi''(0)=\Var X$.

3. (c)

   아핀 변환. $M_{aX+b}(t)=e^{bt}M_X(at)$.

4. (d)

   독립합. $X\perp Y$이면 $M_{X+Y}(t)=M_X(t)M_Y(t)$.

확률벡터 $\X$의 mgf는 $M_{\X}(\bt)=E\,e^{\bt\T\X}$이고, (a)의 유일성이 그대로 성립한다. 또한 $\X=(\X_1,\X_2)$에 대해 $M_{\X}(\bt_1,\allowbreak \bt_2)=M_{\X_1}(\bt_1)M_{\X_2}(\bt_2)$가 $\mathbf 0$의 근방에서 성립하면 $\X_1\perp\X_2$이다.

(a)는 2회 3.3절의 증명 없이 쓰는 사실, (b)는 2회 정리 3.3과 따름정리 3.4, (c)는 2회 정리 3.6(a), (d)는 3회 정리 3.4(d)다. 벡터에 대한 마지막 두 문장은 (a)를 다변수 Laplace 변환으로 넓힌 것이고, 같은 이유로 이 과정에서 증명 없이 쓴다(Billingsley, Probability and Measure, 30절).

보조정리 0.2 (변수변환 공식 — 3회 정리 5.1) $\X$가 열린 집합 $S\subset\R^n$ 위에서 밀도 $f_{\X}$를 갖고, $\Y=g(\X)$가 $S$에서 $T$로 가는 일대일 미분가능 변환이며 역변환 $\x=h(\mathbf y)$의 야코비안 $J(\mathbf y)=\det\bigl[\partial h_i/\partial y_j\bigr]$가 $0$이 아니면

$$f_{\Y}(\mathbf y)=f_{\X}\bigl(h(\mathbf y)\bigr)\,\bigl|J(\mathbf y)\bigr|,\qquad \mathbf y\in T .$$

보조정리 0.3 (반복기댓값과 전분산 공식 — 3회 정리 2.5 · 2.6) $E\bigl[E(Y\mid X)\bigr]=EY$이고, $\Var Y=E\bigl[\Var(Y\mid X)\bigr]+\Var\bigl(E[Y\mid X]\bigr)$이다. 벡터에서는 $\Cov\Y=E\bigl[\Cov(\Y\mid\X)\bigr]+\Cov\bigl(E[\Y\mid\X]\bigr)$이다.

스칼라판은 3회에서 증명했다. 벡터판은 같은 증명을 공분산의 각 성분에 쓰면 된다(연습 0.2). 이 밖에 3회 정리 5.3(가우스 적분)과 4회 정리 3.9($Z^2\sim\chi^2(1)$, 감마함수)를 1.4절에서 다시 쓴다.

전분산 공식은 이 노트에서 세 번 다른 얼굴로 나온다. 2.2절의 2단 quincunx, 3.5절의 조건부분포(피타고라스 정리), 5.3절의 혼합분포다.

연습문제

연습 0.1 (극좌표의 야코비안 ★) $x=r\cos\varphi$, $y=r\sin\varphi$ ($r>0$, $0\le\varphi<2\pi$)의 야코비안이 $r$임을 보여라. 이것으로 $(X,Y)$가 독립 표준정규일 때 $(R,\Phi)$의 결합밀도를 구하고, $R$과 $\Phi$가 독립임을 보여라.

풀이

야코비안은

$$\frac{\partial(x,y)}{\partial(r,\varphi)}=\begin{vmatrix}\cos\varphi&-r\sin\varphi\\ \sin\varphi&r\cos\varphi\end{vmatrix}=r(\cos^2\varphi+\sin^2\varphi)=r .$$

$(X,Y)$의 밀도 $\tfrac1{2\pi}e^{-(x^2+y^2)/2}$에 변수변환 공식을 쓰면

$$f_{R,\Phi}(r,\varphi)=\frac{1}{2\pi}\,e^{-r^2/2}\,r=\underbrace{r\,e^{-r^2/2}}_{r>0}\;\cdot\;\underbrace{\frac{1}{2\pi}}_{0\le\varphi<2\pi}.$$

결합밀도가 $r$만의 함수와 $\varphi$만의 함수의 곱이므로 $R\perp\Phi$이다. $R$은 Rayleigh 분포, $\Phi$는 균등분포다. 이것을 거꾸로 읽으면 Box–Muller 생성기다(3회).

연습 0.2 (벡터의 전분산 공식 ★★) $\Cov(\Y\mid\X)=E\bigl[(\Y-E[\Y\mid\X])(\Y-E[\Y\mid\X])\T\mid\X\bigr]$로 정의하고, 3회 정리 2.6의 증명을 행렬로 옮겨 보조정리 0.3의 벡터판을 증명하라.

풀이

$\mathbf m(\X)=E[\Y\mid\X]$로 쓰고 $\Y-E\Y=\mathbf a+\mathbf b$, $\mathbf a=\Y-\mathbf m(\X)$, $\mathbf b=\mathbf m(\X)-E\Y$로 나눈다.

$$\Cov\Y=E\,\mathbf a\mathbf a\T+E\,\mathbf b\mathbf b\T+E\,\mathbf a\mathbf b\T+E\,\mathbf b\mathbf a\T .$$

교차항은 성분마다 3회 정리 2.5의 둘째 식($g(\X)$를 곱해도 반복기댓값이 성립한다)으로 $E\bigl[\mathbf b\,E(\mathbf a\mid\X)\T\bigr]=\mathbf 0$이다. 첫 항은 $E\bigl[E(\mathbf a\mathbf a\T\mid\X)\bigr]=E[\Cov(\Y\mid\X)]$이고, $E\,\mathbf m(\X)=E\Y$이므로 둘째 항은 $\Cov(\mathbf m(\X))$이다. 스칼라($\Y$가 한 성분)이면 3회 정리 2.6이다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례