5회 · 정규분포의 탄생과 Galton의 타원 · 노트

6 Beautiful insights — 정리 C는 어디에나 있다

6.1 Gaussian Process 회귀 = 정리 C 한 번

격자 위의 함수값 $\mathbf f_g=(f(s_1),\allowbreak \dots,\allowbreak f(s_m))\T$와 관측 $\mathbf y=f(\mathbf s_o)+\boldsymbol\epsilon$, $\boldsymbol\epsilon\sim\N(\mathbf0,\allowbreak \sigma_n^2I)$를 함께 결합정규로 놓는다. 공분산은 커널 $k(s,s')$로 준다. 예를 들어 $k(s,\allowbreak s')=a^2\exp\{-(s-s')^2/(2\ell^2)\}$.

$$\begin{pmatrix}\mathbf f_g\\ \mathbf y\end{pmatrix}\sim\N\left(\mathbf0,\ \begin{pmatrix}K_{gg}&K_{go}\\K_{og}&K_{oo}+\sigma_n^2I\end{pmatrix}\right).$$

정리 3.13을 한 번 쓰면 사후분포가 나온다.

$$\mathbf f_g\mid\mathbf y\sim\N\Bigl(K_{go}(K_{oo}+\sigma_n^2I)^{-1}\mathbf y,\ \ K_{gg}-K_{go}(K_{oo}+\sigma_n^2I)^{-1}K_{og}\Bigr).$$

$\Sigma_{12}\Sigma_{22}^{-1}$와 Schur 보수가 그대로 들어 있다. 관측점에서 멀어질수록 $K_{go}$가 작아져 사후평균은 사전평균 $0$으로 회귀하고 사후분산은 사전분산으로 돌아간다. 노트북 6.1절은 MVN.conditional을 고치지 않고 이것을 그린다.

6.2 Pearson (1901): 회귀선 둘, 주성분 하나

Pearson은 1901년 On lines and planes of closest fit to systems of points in space에서 물었다. 점들에 “가장 가까운” 직선은 무엇인가? 세로 거리를 최소화하면 $E[Y\mid X]$, 가로 거리를 최소화하면 $E[X\mid Y]$다. 수직 거리를 최소화하면 다음 명제의 답이 나온다.

명제 6.1 (제1 주성분은 수직거리를 최소화한다) $E\X=\bmu$, $\Cov\X=\Sigma$인 $\X\in\R^n$과 단위벡터 $\mathbf v$가 정하는 직선 $\ell_{\mathbf v}=\{\bmu+t\mathbf v\}$에 대해

$$E\bigl[\operatorname{dist}(\X,\ell_{\mathbf v})^2\bigr]=\tr\Sigma-\mathbf v\T\Sigma\mathbf v .$$

따라서 이 값을 최소로 하는 $\mathbf v$는 $\Sigma$의 가장 큰 고유값의 고유벡터이고, 최솟값은 나머지 고유값의 합이다.

증명 $\mathbf D=\X-\bmu$로 두면 직선까지의 거리는 $\mathbf D$에서 $\mathbf v$ 방향 성분을 뺀 길이이므로 $\operatorname{dist}^2=\|\mathbf D\|^2-(\mathbf v\T\mathbf D)^2$. 기댓값을 취하면 $E\|\mathbf D\|^2=\tr\Sigma$, $E(\mathbf v\T\mathbf D)^2=\mathbf v\T\Sigma\mathbf v$. Rayleigh 몫 $\mathbf v\T\Sigma\mathbf v$의 단위벡터 위 최댓값은 $\lambda_{\max}$이고 그 고유벡터에서 얻는다.

주성분 축은 정리 D의 타원의 장축이다(따름정리 3.18). Galton의 자료에서 세 직선의 기울기는 $0.65$($E[$자녀$\mid$부모$]$), $2.02$(제1 주성분), $3.07$($E[$부모$\mid$자녀$]$)이다. 주의할 점이 있다. 단위를 바꾸면 주성분은 바뀌지만 회귀선은 바뀌지 않는다.

그림 6.1 Galton 자료를 지나는 세 “최선의” 직선.

6.3 백색화와 BatchNorm

정리 3.8로 $\Sigma^{-1/2}(\X-\bmu)\sim\N(\mathbf0,\allowbreak I)$, 곧 타원을 원으로 만들 수 있다(백색화). BatchNorm은 좌표마다 평균과 표준편차만 나눈다. $D=\diag(\Sigma)$로 쓰면 $D^{-1/2}(\X-\bmu)$이고, 그 공분산은 상관행렬이다. 기울어진 타원은 그대로 남는다. 상관까지 없애는 Decorrelated BatchNorm(Huang et al., 2018)이 바로 $\Sigma^{-1/2}$ 백색화다.

6.4 Reparameterization trick과 두 정규 사이의 KL

VAE의 인코더가 $\bmu_\phi(\x)$와 $L_\phi(\x)$를 내면 잠재변수는 정리 3.5의 구성 그대로 $\z=\bmu_\phi+L_\phi\boldsymbol\epsilon$, $\boldsymbol\epsilon\sim\N(\mathbf0,\allowbreak I)$로 뽑는다. 무작위성이 $\boldsymbol\epsilon$에만 있으므로 $\partial\z/\partial\bmu_\phi=I$이고 역전파가 흐른다. VAE 손실의 둘째 항은 두 정규분포 사이의 KL이다.

명제 6.2 (두 다변량 정규 사이의 KL 발산) $\N_0=\N_n(\bmu_0,\Sigma_0)$, $\N_1=\N_n(\bmu_1,\Sigma_1)$, 둘 다 양정치이면

$$\mathrm{KL}(\N_0\,\Vert\,\N_1)=\frac12\Bigl[\tr(\Sigma_1^{-1}\Sigma_0)+(\bmu_1-\bmu_0)\T\Sigma_1^{-1}(\bmu_1-\bmu_0)-n+\log\frac{|\Sigma_1|}{|\Sigma_0|}\Bigr].$$

증명 $\mathrm{KL}=E_0[\log f_0(\X)-\log f_1(\X)]$이고 정리 3.6로

$$\log f_0-\log f_1=\frac12\log\frac{|\Sigma_1|}{|\Sigma_0|}+\frac12(\X-\bmu_1)\T\Sigma_1^{-1}(\X-\bmu_1)-\frac12(\X-\bmu_0)\T\Sigma_0^{-1}(\X-\bmu_0).$$

$E[\Y\T A\Y]=\tr(A\Cov\Y)+(E\Y)\T A(E\Y)$(연습 6.1)를 $\X\sim\N_0$에 쓰면 셋째 항의 기댓값은 $\tr(\Sigma_0^{-1}\Sigma_0)=n$이고, 둘째 항의 기댓값은 $\tr(\Sigma_1^{-1}\Sigma_0)+(\bmu_0-\bmu_1)\T\Sigma_1^{-1}(\bmu_0-\bmu_1)$이다.

연습문제

연습 6.1 (이차형식의 기댓값 ★) $E\Y=\mathbf m$, $\Cov\Y=V$이면 $E[\Y\T A\Y]=\tr(AV)+\mathbf m\T A\mathbf m$임을 보여라. (힌트: $\Y\T A\Y=\tr(A\Y\Y\T)$.)

풀이

$\Y\T A\Y=\tr(\Y\T A\Y)=\tr(A\Y\Y\T)$이고 대각합과 기댓값은 순서를 바꿀 수 있으므로

$$E[\Y\T A\Y]=\tr\bigl(A\,E[\Y\Y\T]\bigr)=\tr\bigl(A(V+\mathbf m\mathbf m\T)\bigr)=\tr(AV)+\mathbf m\T A\mathbf m .$$

연습 6.2 (VAE의 KL 항 ★) 명제 6.2에서 $\N_0=\N(\bmu,\allowbreak \diag(\sigma_1^2,\allowbreak \dots,\allowbreak \sigma_n^2))$, $\N_1=\N(\mathbf0,I)$이면 $\mathrm{KL}=\tfrac12\sum_i(\sigma_i^2+\mu_i^2-1-\log\sigma_i^2)$임을 보여라.

풀이

$\Sigma_1=I$, $\bmu_1=\mathbf0$을 넣으면 $\tr\Sigma_0=\sum\sigma_i^2$, 이차형식은 $\sum\mu_i^2$, $\log\tfrac{|I|}{|\Sigma_0|}=-\sum\log\sigma_i^2$이다.

연습 6.3 (주성분의 기울기 ★★) $2\times2$ 공분산 $\Sigma$의 가장 큰 고유값을 $\lambda_1$이라 하면 제1 주성분 방향의 기울기가 $(\lambda_1-\Sigma_{11})/\Sigma_{12}$임을 보이고, 표 2.1의 $\hat\Sigma$로 $2.02$를 확인하라. $y$의 단위를 센티미터로 바꾸면($\times2.54$) 주성분의 기울기와 두 회귀선의 기울기는 각각 어떻게 되는가?

풀이

$(\Sigma-\lambda_1I)\mathbf v=\mathbf0$의 첫 행 $(\Sigma_{11}-\lambda_1)v_1+\Sigma_{12}v_2=0$에서

$$\frac{v_2}{v_1}=\frac{\lambda_1-\Sigma_{11}}{\Sigma_{12}}=\frac{7.355-3.191}{2.062}=2.02 .$$

$y$를 센티미터로 바꾸면 두 회귀선의 기울기는 정확히 $2.54$배($1.64$와 $7.80$)가 된다. 그런데 주성분의 기울기는 $2.02\times2.54=5.13$이 아니라 $7.33$이 된다. 주성분은 척도에 따라 방향 자체가 바뀐다.

이 절을 PDF로 보기 (41쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례