5회 · 정규분포의 탄생과 Galton의 타원 · 노트

3 다변량 정규분포

Galton의 타원을 설명하려면 정규분포를 여러 변수로 넓혀야 한다. 이 절의 목표는 정리 A–D(그림 0.1)를 엄밀하게 세우는 것이다. 먼저 필요한 행렬 도구를 증명과 함께 정리한다.

3.1 행렬 준비

확률벡터 $\X=(X_1,\dots,X_n)\T$의 평균은 $\bmu=E\X$, 공분산행렬은 $\Sigma=\Cov\X=E(\X-\bmu)(\X-\bmu)\T$, 곧 $\Sigma_{ij}=\Cov(X_i,X_j)$이다.

보조정리 3.1 (선형변환의 평균과 공분산) $m\times n$ 상수행렬 $A$와 $\bb\in\R^m$에 대해 $E(A\X+\bb)=A\bmu+\bb$, $\Cov(A\X+\bb)=A\Sigma A\T$이다. 특히 $\ba\T\Sigma\ba=\Var(\ba\T\X)\ge0$이므로 $\Sigma$는 대칭 반정치(positive semidefinite)다.

증명 기댓값의 선형성으로 첫 식이 나온다. 그러면 $\Cov(A\X+\bb)=E\bigl[A(\X-\bmu)(\X-\bmu)\T A\T\bigr]=A\Sigma A\T$.

보조정리 3.2 (스펙트럼 분해, 제곱근, Cholesky) 대칭 반정치 $\Sigma$는 직교행렬 $V$와 $\Lambda=\diag(\lambda_1,\allowbreak \dots,\allowbreak \lambda_n)$, $\lambda_i\ge0$으로 $\Sigma=V\Lambda V\T$라 쓸 수 있다.

1. (a)

   $\Sigma^{1/2}:=V\Lambda^{1/2}V\T$는 대칭이고 $\Sigma^{1/2}\Sigma^{1/2}=\Sigma$이다. $\Sigma$가 양정치이면 $\Sigma^{-1/2}:=V\Lambda^{-1/2}V\T=(\Sigma^{1/2})^{-1}$이다.

2. (b)

   $\Sigma$가 양정치이면 대각원소가 양수인 하삼각행렬 $L$이 유일하게 존재해 $\Sigma=LL\T$이다(Cholesky 분해).

(a)는 $V\T V=I$로 바로 확인되고, (b)는 선형대수 교재의 표준 결과다. 정규분포를 구성할 때는 $\Sigma=AA\T$인 행렬 $A$ 하나만 있으면 되고, (a)의 $\Sigma^{1/2}$와 (b)의 $L$이 모두 그런 $A$다.

이 절에서 가장 중요한 도구는 블록 행렬이다. 다음 보조정리 하나가 정리 C의 두 번째 증명, 정밀도행렬 표현, 행렬식 공식을 모두 준다.

보조정리 3.3 (블록 행렬과 Schur 보수) 대칭 행렬 $\Sigma$를 블록으로 나누고 $\Sigma_{22}$가 가역이라 하자. 다음과 같이 둔다.

$$\begin{gather*} \Sigma=\begin{pmatrix}\Sigma_{11}&\Sigma_{12}\\ \Sigma_{21}&\Sigma_{22}\end{pmatrix},\qquad T=\begin{pmatrix}I&-B\\0&I\end{pmatrix},\\[4pt] B=\Sigma_{12}\Sigma_{22}^{-1},\qquad \Sigma_{11\cdot2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\quad(\text{Schur 보수}). \end{gather*}$$

1. (a)

   (블록 대각화) $T\,\Sigma\,T\T=\diag(\Sigma_{11\cdot2},\allowbreak \ \Sigma_{22})$.

2. (b)

   (행렬식) $|\Sigma|=|\Sigma_{22}|\,|\Sigma_{11\cdot2}|$.

3. (c)

   (양정치) $\Sigma\succ0\iff\Sigma_{22}\succ0$이고 $\Sigma_{11\cdot2}\succ0$.

4. (d)

   (역행렬) $\Sigma$가 가역이면

   $$\Sigma^{-1}=\begin{pmatrix}\Sigma_{11\cdot2}^{-1}&-\Sigma_{11\cdot2}^{-1}B\\[2pt] -B\T\Sigma_{11\cdot2}^{-1}&\Sigma_{22}^{-1}+B\T\Sigma_{11\cdot2}^{-1}B\end{pmatrix}.$$
5. (e)

   (이차형식 분해) $\x=(\x_1,\x_2)$에 대해

   $$\x\T\Sigma^{-1}\x=(\x_1-B\x_2)\T\,\Sigma_{11\cdot2}^{-1}\,(\x_1-B\x_2)+\x_2\T\Sigma_{22}^{-1}\x_2 .$$

증명 $\Sigma$가 대칭이므로 $\Sigma_{21}=\Sigma_{12}\T$이고 $B\T=\Sigma_{22}^{-1}\Sigma_{21}$이다.

(a) 먼저 왼쪽에 $T$를 곱하면

$$T\Sigma=\begin{pmatrix}\Sigma_{11}-B\Sigma_{21}&\Sigma_{12}-B\Sigma_{22}\\ \Sigma_{21}&\Sigma_{22}\end{pmatrix} =\begin{pmatrix}\Sigma_{11\cdot2}&0\\ \Sigma_{21}&\Sigma_{22}\end{pmatrix},$$

이다($B\Sigma_{22}=\Sigma_{12}$). 여기에 오른쪽으로 $T\T$를 곱하면

$$T\Sigma T\T=\begin{pmatrix}\Sigma_{11\cdot2}&0\\ \Sigma_{21}&\Sigma_{22}\end{pmatrix}\begin{pmatrix}I&0\\-B\T&I\end{pmatrix} =\begin{pmatrix}\Sigma_{11\cdot2}&0\\ \Sigma_{21}-\Sigma_{22}B\T&\Sigma_{22}\end{pmatrix},$$

이고 $\Sigma_{22}B\T=\Sigma_{21}$이므로 (2,1) 블록이 $0$이 된다.

(b) $\det T=1$이므로 (a)의 양변에 행렬식을 취한다.

(c) $T$는 가역이므로 $\Sigma\succ0\iff T\Sigma T\T\succ0$이고, 블록 대각행렬은 각 블록이 양정치일 때 그리고 그때만 양정치다.

(d) (a)에서 $\Sigma=T^{-1}DT^{-\prime}$, $D=\diag(\Sigma_{11\cdot2},\allowbreak \Sigma_{22})$이므로 $\Sigma^{-1}=T\T D^{-1}T$. 블록 곱을 계산하면

$$\begin{pmatrix}I&0\\-B\T&I\end{pmatrix}\begin{pmatrix}\Sigma_{11\cdot2}^{-1}&0\\0&\Sigma_{22}^{-1}\end{pmatrix}\begin{pmatrix}I&-B\\0&I\end{pmatrix} =\begin{pmatrix}\Sigma_{11\cdot2}^{-1}&-\Sigma_{11\cdot2}^{-1}B\\-B\T\Sigma_{11\cdot2}^{-1}&B\T\Sigma_{11\cdot2}^{-1}B+\Sigma_{22}^{-1}\end{pmatrix}.$$

(e) $\x\T\Sigma^{-1}\x=\x\T T\T D^{-1}T\x=(T\x)\T D^{-1}(T\x)$이고 $T\x=(\x_1-B\x_2,\ \x_2)$이다.

연습문제

연습 3.1 ($2\times2$에서 확인 ★) 다음 $\Sigma$($|\rho|<1$)에서 $\Sigma_{11\cdot2}$, $|\Sigma|$, $\Sigma^{-1}$을 보조정리 3.3로 구하고 직접 계산과 비교하라.

$$\Sigma=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix}$$

풀이

$$\Sigma_{11\cdot2}=\sigma_1^2-\frac{\rho^2\sigma_1^2\sigma_2^2}{\sigma_2^2}=\sigma_1^2(1-\rho^2),\qquad |\Sigma|=\sigma_2^2\cdot\sigma_1^2(1-\rho^2),\qquad B=\frac{\rho\sigma_1}{\sigma_2}.$$

보조정리 3.3(d)로

$$\Sigma^{-1}=\begin{pmatrix}\dfrac{1}{\sigma_1^2(1-\rho^2)}&-\dfrac{\rho}{\sigma_1\sigma_2(1-\rho^2)}\\[10pt]-\dfrac{\rho}{\sigma_1\sigma_2(1-\rho^2)}&\dfrac1{\sigma_2^2}+\dfrac{\rho^2}{\sigma_2^2(1-\rho^2)}\end{pmatrix} =\frac{1}{|\Sigma|}\begin{pmatrix}\sigma_2^2&-\rho\sigma_1\sigma_2\\-\rho\sigma_1\sigma_2&\sigma_1^2\end{pmatrix},$$

이고 마지막 식은 수반행렬로 직접 구한 역행렬과 같다.

연습 3.2 (정밀도행렬의 블록 ★★) $\Lambda=\Sigma^{-1}$을 같은 크기로 나눠 $\Lambda_{11},\allowbreak \Lambda_{12},\allowbreak \dots$라 하자. 보조정리 3.3(d)에서 $\Lambda_{11}=\Sigma_{11\cdot2}^{-1}$이고 $-\Lambda_{11}^{-1}\Lambda_{12}=B$임을 보여라.

풀이

보조정리 3.3(d)의 (1,1) 블록과 (1,2) 블록이 $\Lambda_{11}=\Sigma_{11\cdot2}^{-1}$, $\Lambda_{12}=-\Sigma_{11\cdot2}^{-1}B$이므로 $-\Lambda_{11}^{-1}\Lambda_{12}=\Sigma_{11\cdot2}\Sigma_{11\cdot2}^{-1}B=B$.

3.2 정의 · 구성 · 밀도

정의 3.4 (다변량 정규분포 (mgf에 의한 정의)) $n$차원 확률벡터 $\cdat\X$의 mgf가 모든 $\bt\in\R^n$에서

$$M_{\X}(\bt)=E\,e^{\bt\T\X}=\exp\Bigl(\bt\T\cpar\bmu+\tfrac12\,\bt\T\cpar\Sigma\,\bt\Bigr)$$

이면($\bmu\in\R^n$, $\Sigma$는 $n\times n$ 대칭 반정치) $\X\sim\N_n(\bmu,\Sigma)$라 쓴다.

왜 mgf로 정의하는가 (a) $\Sigma$가 특이해 밀도가 없는 경우까지 포함한다(5.4절). (b) 정리 A가 한 줄로 끝난다. (c) mgf가 분포를 결정한다(보조정리 0.1(a)). 단점은 정의가 비어 있지 않음, 곧 그런 분포가 존재함을 따로 보여야 한다는 것이다. 다음 정리가 그 일을 한다.

정리 3.5 (존재와 모수의 의미) $\bmu\in\R^n$, $\Sigma$가 대칭 반정치이고 $AA\T=\Sigma$라 하자. $Z_1,\dots,Z_n\iid\N(0,1)$, $\Z=(Z_1,\dots,Z_n)\T$이면 $\X=\bmu+A\Z\sim\N_n(\bmu,\allowbreak \Sigma)$이다. 또한 $E\X=\bmu$, $\Cov\X=\Sigma$이다.

증명 $Z_i$의 독립성과 정리 1.8(ii)($M_{Z_i}(s)=e^{s^2/2}$)로

$$M_{\X}(\bt)=E\,e^{\bt\T\bmu+\bt\T A\Z}=e^{\bt\T\bmu}\,E\,e^{(A\T\bt)\T\Z} =e^{\bt\T\bmu}\prod_{i=1}^ne^{(A\T\bt)_i^2/2} =\exp\Bigl(\bt\T\bmu+\tfrac12\|A\T\bt\|^2\Bigr),$$

그리고 $\|A\T\bt\|^2=\bt\T AA\T\bt=\bt\T\Sigma\bt$이다. 보조정리 3.2로 그런 $A$는 항상 존재한다. 평균과 공분산은 보조정리 3.1에 $E\Z=\mathbf 0$, $\Cov\Z=I$를 넣으면 나온다.

분포는 $A$가 아니라 $AA\T=\Sigma$에만 의존한다. 대칭 제곱근을 쓰든 Cholesky 인수를 쓰든 같은 분포가 나온다. 이 구성은 그대로 샘플러다(4절 알고리즘 4.1).

정리 3.6 (밀도) $\Sigma\succ0$이면 $\X\sim\N_n(\bmu,\Sigma)$는 밀도

$$\boxed{\ f(\x)=\frac{1}{(2\pi)^{n/2}\,|\Sigma|^{1/2}}\exp\Bigl\{-\tfrac12(\x-\bmu)\T\Sigma^{-1}(\x-\bmu)\Bigr\},\qquad\x\in\R^n\ }$$

를 갖는다.

증명 전략 밀도를 아는 $\Z$에서 출발해 가역 선형변환 $\x=\bmu+\Sigma^{1/2}\z$로 옮기고, 변수변환 공식을 쓴다 [T7].

1. 정리 3.5에서 $A=\Sigma^{1/2}$로 잡으면 $\X=\bmu+\Sigma^{1/2}\Z\sim\N_n(\bmu,\allowbreak \Sigma)$이다.정리 3.5

2. $\Sigma\succ0$이면 $\Sigma^{1/2}$는 가역이므로 $\x=\bmu+\Sigma^{1/2}\z$는 $\R^n$에서 $\R^n$으로의 일대일 변환이고, 역변환은 $\z=\Sigma^{-1/2}(\x-\bmu)$이다.보조정리 3.2(a)

3. 역변환의 야코비안은 $\det\Sigma^{-1/2}=|\Sigma|^{-1/2}$이다.$\det\Sigma^{-1/2}=\prod\lambda_i^{-1/2}$

4. $\Z$의 밀도는 $\prod_i\varphi(z_i)=(2\pi)^{-n/2}e^{-\z\T\z/2}$이다.$Z_i$ 독립

5. $\z\T\z=(\x-\bmu)\T\Sigma^{-1/2}\Sigma^{-1/2}(\x-\bmu)=(\x-\bmu)\T\Sigma^{-1}(\x-\bmu)$이다.$\Sigma^{-1/2}$는 대칭

6. 3–5를 변수변환 공식에 넣으면 결론이다.보조정리 0.2 [T7]

예제 3.7 (이변량 정규 밀도 — Dickson의 식) $n=2$이고 $|\rho|<1$이면

$$\begin{gather*} \Sigma=\begin{pmatrix}\sigma_X^2&\rho\sigma_X\sigma_Y\\ \rho\sigma_X\sigma_Y&\sigma_Y^2\end{pmatrix},\qquad |\Sigma|=\sigma_X^2\sigma_Y^2(1-\rho^2),\\[4pt] \Sigma^{-1}=\frac{1}{1-\rho^2}\begin{pmatrix}1/\sigma_X^2&-\rho/(\sigma_X\sigma_Y)\\-\rho/(\sigma_X\sigma_Y)&1/\sigma_Y^2\end{pmatrix}. \end{gather*}$$

표준화 변수 $u=\tfrac{x-\mu_X}{\sigma_X}$, $w=\tfrac{y-\mu_Y}{\sigma_Y}$로 쓰면

$$f(x,y)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}\exp\Bigl\{-\frac{u^2-2\rho uw+w^2}{2(1-\rho^2)}\Bigr\}.$$

지수의 이차형식 $Q=\tfrac{u^2-2\rho uw+w^2}{1-\rho^2}$이 상수인 곡선이 Galton이 본 타원이다.

그림 3.1 표준화 이변량 정규. $\rho$에 따라 등고 타원이 기운다.

연습문제

연습 3.3 (인수분해와 $\rho=0$ ★) 예제 3.7의 $f(x,y)$가 $x$만의 함수와 $y$만의 함수의 곱으로 쓰일 필요충분조건이 $\rho=0$임을 보여라.

풀이

$\rho=0$이면 지수가 $-\tfrac{u^2}{2}-\tfrac{w^2}{2}$로 갈라진다. 거꾸로 $f=g(x)h(y)$이면 $\tfrac{\partial^2}{\partial x\,\partial y}\log f=0$이어야 하는데

$$\frac{\partial^2}{\partial x\,\partial y}\Bigl(-\frac{u^2-2\rho uw+w^2}{2(1-\rho^2)}\Bigr)=\frac{\rho}{(1-\rho^2)\,\sigma_X\sigma_Y}$$

이므로 $\rho=0$이다.

연습 3.4 (사분면 확률 ★★) $(X_1,X_2)$가 표준화 이변량 정규($\sigma=1$, 상관 $\rho$)이면 $P(X_1>0,\allowbreak \,X_2>0)=\tfrac14+\tfrac{\arcsin\rho}{2\pi}$임을 보여라. (힌트: $X_2=\rho X_1+\sqrt{1-\rho^2}\,Z$, $Z\perp X_1$로 쓰고 $(X_1,Z)$의 회전대칭을 이용한다.)

풀이

$X_2=\rho X_1+\sqrt{1-\rho^2}\,Z$로 두면 $(X_1,Z)$는 독립 표준정규이므로 회전대칭이다. $(X_1,Z)$의 편각을 $\theta$, $\alpha=\arcsin\rho$로 쓰면

$$X_2>0\iff\sin\alpha\cos\theta+\cos\alpha\sin\theta>0\iff\sin(\theta+\alpha)>0 .$$

$X_1>0$은 $\theta\in(-\tfrac\pi2,\allowbreak \tfrac\pi2)$, $X_2>0$은 $\theta\in(-\alpha,\pi-\alpha)$이고, 교집합은 폭 $\tfrac\pi2+\alpha$의 부채꼴이다. 편각이 균등하므로 확률은 $\tfrac{\pi/2+\alpha}{2\pi}=\tfrac14+\tfrac{\arcsin\rho}{2\pi}$.

3.3 정리 A — 선형변환

정리 3.8 (정리 A: 선형변환) $\X\sim\N_n(\bmu,\Sigma)$, $C$는 $m\times n$ 상수행렬, $\bb\in\R^m$이면

$$\Y=C\X+\bb\ \sim\ \N_m\bigl(C\bmu+\bb,\ C\Sigma C\T\bigr).$$

증명 $\bt\T(C\X)=(C\T\bt)\T\X$이므로 $\X$의 mgf를 $C\T\bt$에서 읽으면 된다.

$$M_{\Y}(\bt)=E\,e^{\bt\T(C\X+\bb)}=e^{\bt\T\bb}\,M_{\X}(C\T\bt)=\exp\Bigl(\bt\T(C\bmu+\bb)+\tfrac12\,\bt\T C\Sigma C\T\bt\Bigr).$$

$C\Sigma C\T$는 대칭 반정치이므로 정의 3.4에 맞는다.

따름정리 3.9 (주변분포) $\X=(\X_1\T,\X_2\T)\T$로 나누면 $\X_1\sim\N(\bmu_1,\allowbreak \Sigma_{11})$이다. 특히 각 성분은 $X_i\sim\N(\mu_i,\Sigma_{ii})$이다.

증명 $C=\bigl[\,I\ \ 0\,\bigr]$에 정리 3.8를 쓴다.

결합정규의 주변분포는 모두 정규다. 그러나 역은 거짓이다(5.1절). 무엇이 결합정규를 판정하는가? 답은 “모든 선형결합”이다.

정리 3.10 (Cramér–Wold 판정) $\X$가 결합정규일 필요충분조건은 모든 $\ba\in\R^n$에 대해 $\ba\T\X$가 (분산이 $0$인 경우를 포함한) 단변량 정규인 것이다.

증명 전략 $(\Rightarrow)$는 정리 A의 특수한 경우다. $(\Leftarrow)$는 $\X$의 mgf를 $\bt$마다 한 변수 $\bt\T\X$의 mgf의 값 $M_{\bt\T\X}(1)$로 읽는다. 단계별 증명은 연습 3.16(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

연습문제

연습 3.5 (선형결합 하나 ★) $\X\sim\N_3(\bmu,\Sigma)$일 때 $X_1-2X_2+X_3$의 분포를 구하라.

$$\bmu=\begin{pmatrix}1\\0\\-1\end{pmatrix},\qquad \Sigma=\begin{pmatrix}4&2&0\\2&2&1\\0&1&2\end{pmatrix}$$

풀이

$\ba=(1,-2,1)\T$이면 $\ba\T\bmu=1-0-1=0$, $\Sigma\ba=(0,-1,0)\T$이므로 $\ba\T\Sigma\ba=2$. 따라서 $X_1-2X_2+X_3\sim\N(0,2)$.

연습 3.6 (특이 공분산과 상수 선형결합 ★★) $\X\sim\N_n(\bmu,\Sigma)$이고 $\operatorname{rank}\Sigma<n$이면, $P(\ba\T\X=\ba\T\bmu)=1$인 $\ba\ne\mathbf 0$이 존재함을 보여라.

풀이

$\operatorname{rank}\Sigma<n$이면 $\Sigma\ba=\mathbf0$인 $\ba\ne\mathbf0$이 있다. 정리 3.8로 $\ba\T\X\sim\N(\ba\T\bmu,\allowbreak \ \ba\T\Sigma\ba)=\N(\ba\T\bmu,\allowbreak 0)$, 곧 점질량이다(mgf가 $e^{t\,\ba\T\bmu}$).

3.4 정리 B — 독립과 무상관

정리 3.11 (정리 B: 독립 $\Leftrightarrow$ 무상관) $\X=(\X_1\T,\allowbreak \X_2\T)\T\sim\N_n(\bmu,\allowbreak \Sigma)$이면 $\ \X_1\perp\X_2\iff\Sigma_{12}=0$.

증명 전략 $(\Leftarrow)$에서 결합 mgf의 지수를 블록으로 펼치면 $\Sigma_{12}$가 들어 있는 교차항 하나만 두 블록을 잇는다. 그 항이 사라지면 mgf가 두 주변 mgf의 곱으로 쪼개진다.

$(\Rightarrow)$

1. 독립이면 $\X_1$의 성분과 $\X_2$의 성분은 쌍마다 독립이므로 공분산이 $0$이고, $\Sigma_{12}=0$이다.독립이면 무상관

$(\Leftarrow)$

1. $\bt=(\bt_1\T,\bt_2\T)\T$로 나누면 $\bt\T\Sigma\bt=\bt_1\T\Sigma_{11}\bt_1+2\,\bt_1\T\Sigma_{12}\bt_2+\bt_2\T\Sigma_{22}\bt_2$이다.블록 곱, $\Sigma_{21}=\Sigma_{12}\T$

2. $\Sigma_{12}=0$이면 가운데 항이 사라진다.

   $$M_{\X}(\bt)=\exp\Bigl(\bt_1\T\bmu_1+\tfrac12\,\bt_1\T\Sigma_{11}\bt_1\Bigr)\,\exp\Bigl(\bt_2\T\bmu_2+\tfrac12\,\bt_2\T\Sigma_{22}\bt_2\Bigr) .$$

   정의 3.4

3. 두 인수는 각각 $M_{\X_1}(\bt_1)$, $M_{\X_2}(\bt_2)$이다.따름정리 3.9

4. 결합 mgf가 $\mathbf0$의 근방에서 주변 mgf의 곱이므로 $\X_1\perp\X_2$이다.보조정리 0.1

가정 주의 가정은 “$\X_1$과 $\X_2$가 각각 정규”가 아니라 “$(\X_1,\X_2)$가 결합정규”다. 증명에서 결합 mgf의 식을 쓴 곳이 바로 이 가정이다. 5.1절에서 이 가정을 빼면 무상관이지만 종속인 정규 쌍이 생긴다.

따름정리 3.12 (성분의 상호 독립) $\X\sim\N_n(\bmu,\Sigma)$의 성분 $X_1,\dots,X_n$이 상호 독립일 필요충분조건은 $\Sigma$가 대각행렬인 것이다. 결합정규에서는 쌍별 무상관이 상호 독립을 준다.

증명 $\Sigma$가 대각이면 mgf가 $n$개 인수로 쪼개진다.

6회에서는 정리 3.11로 정규표본의 $\bar X\perp S^2$를 증명한다. $(\bar X,\allowbreak \,X_1-\bar X,\allowbreak \dots,\allowbreak X_n-\bar X)$가 결합정규이고 공분산이 $0$이기 때문이다.

연습문제

연습 3.7 (합과 차 ★) $(X_1,X_2)$가 결합정규이고 $\Var X_1=\Var X_2$이면 $X_1+X_2\perp X_1-X_2$임을 보여라. 분산이 다르면 어떻게 되는가?

풀이

$(X_1+X_2,\ X_1-X_2)$는 정리 3.8로 결합정규이고

$$\Cov(X_1+X_2,\,X_1-X_2)=\Var X_1-\Var X_2 .$$

분산이 같으면 $0$이므로 정리 3.11로 독립이다. 분산이 다르면 상관이 있어 종속이다.

3.5 정리 C — 조건부분포

정리 3.13 (정리 C: 조건부분포) $\X=(\X_1\T,\allowbreak \X_2\T)\T\sim\N_n(\bmu,\allowbreak \Sigma)$이고 $\Sigma_{22}\succ0$이면

$$\boxed{\ \X_1\mid\X_2=\x_2\ \sim\ \N\Bigl(\ \underbrace{\bmu_1+\Sigma_{12}\Sigma_{22}^{-1}(\x_2-\bmu_2)}_{\bmu_{1\cdot2}}\ ,\ \ \underbrace{\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}_{\Sigma_{11\cdot2}}\ \Bigr)\ }$$

그림 3.2 정리 C 공식의 해부. 블록마다 한 색을 쓴다.

증명 전략 $\X_1$에서 $\X_2$로 설명되는 부분 $B\X_2$를 빼 잔차 $\W=\X_1-B\X_2$를 만든다. $B$를 잘 고르면 $\W$와 $\X_2$가 무상관이고, 결합정규이므로 독립이다. 그러면 $\X_2$에 조건을 걸어도 $\W$의 분포는 바뀌지 않는다.

$B=\Sigma_{12}\Sigma_{22}^{-1}$, $\W=\X_1-B\X_2$로 둔다.

1. $(\W,\X_2)$는 결합정규다.

   $$\begin{pmatrix}\W\\ \X_2\end{pmatrix}=\begin{pmatrix}I&-B\\0&I\end{pmatrix}\begin{pmatrix}\X_1\\ \X_2\end{pmatrix}=T\X . \tag*{\htmlClass{reason}{\text{보조정리~\href{/read/05/3#lem-block}{3.3}의 $T$, 정리~\href{/read/05/3#thm-linear}{3.8}}}}$$

2. $\Cov(\W,\allowbreak \X_2)=\Cov(\X_1,\allowbreak \X_2)-B\Cov(\X_2,\allowbreak \X_2)=\Sigma_{12}-B\Sigma_{22}=0$이다.공분산의 쌍선형성

3. $\W\perp\X_2$이다.1 2, 정리 3.11

4. $E\W=\bmu_1-B\bmu_2$이고, 공분산은 다음과 같다.

   $$\Cov\W=\Sigma_{11}-B\Sigma_{21}-\Sigma_{12}B\T+B\Sigma_{22}B\T=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}=\Sigma_{11\cdot2} .$$

   보조정리 3.1

   뒤의 세 항은 모두 $\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$이다.

5. $\X_1=\W+B\X_2$이고 $\W$는 $\X_2$와 독립이므로, $\X_2=\x_2$로 조건을 걸어도 $\W$의 분포는 그대로다. 따라서 $\X_1\mid\x_2$는 $\W+B\x_2$의 분포, 곧 $\N(\bmu_1-B\bmu_2+B\x_2,\allowbreak \ \Sigma_{11\cdot2})$이다.3 4

증명 $\tilde\x=\x-\bmu$로 쓰고 보조정리 3.3(e)를 쓰면

$$\tilde\x\T\Sigma^{-1}\tilde\x=(\tilde\x_1-B\tilde\x_2)\T\Sigma_{11\cdot2}^{-1}(\tilde\x_1-B\tilde\x_2)+\tilde\x_2\T\Sigma_{22}^{-1}\tilde\x_2,$$

(b)로 $|\Sigma|^{1/2}=|\Sigma_{11\cdot2}|^{1/2}|\Sigma_{22}|^{1/2}$이다. 따라서 결합밀도는 두 정규밀도의 곱으로 쪼개진다.

$$f(\x)=\underbrace{\frac{\exp\{-\frac12(\x_1-\bmu_{1\cdot2})\T\Sigma_{11\cdot2}^{-1}(\x_1-\bmu_{1\cdot2})\}}{(2\pi)^{n_1/2}|\Sigma_{11\cdot2}|^{1/2}}}_{f(\x_1\mid\x_2)}\ \cdot\ \underbrace{\frac{\exp\{-\frac12\tilde\x_2\T\Sigma_{22}^{-1}\tilde\x_2\}}{(2\pi)^{n_2/2}|\Sigma_{22}|^{1/2}}}_{f_2(\x_2)}$$

($\tilde\x_1-B\tilde\x_2=\x_1-\bmu_{1\cdot2}$). 둘째 인수는 따름정리 3.9의 주변밀도이므로 첫째 인수가 조건부밀도 $f(\x)/f_2(\x_2)$다.

그림 3.3 증명 1의 기하. 내적 $\langle U,V\rangle=\Cov(U,V)$에서 $B\tilde\X_2$는 $\tilde\X_1$의 직교사영이고 $\W$는 그 잔차다.

따름정리 3.14 (조건부분포의 세 성질) 정리 3.13의 상황에서

1. (a)

   (선형성) $E[\X_1\mid\X_2]=\bmu_1+B(\X_2-\bmu_2)$는 $\X_2$의 선형 함수다.

2. (b)

   (등분산) $\Cov(\X_1\mid\X_2=\x_2)=\Sigma_{11\cdot2}$는 $\x_2$에 의존하지 않는다.

3. (c)

   (피타고라스) 공분산이 두 조각으로 나뉜다.

   $$\Sigma_{11}=\underbrace{\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}_{\Cov(E[\X_1\mid\X_2])}+\underbrace{\Sigma_{11\cdot2}}_{E[\Cov(\X_1\mid\X_2)]}.$$

   따라서 $\Sigma_{11\cdot2}\preceq\Sigma_{11}$이다. 조건을 걸면 불확실성이 줄어든다.

증명 (a)(b)는 정리에서 바로 읽힌다. (c)는 $\Cov(B\X_2)=B\Sigma_{22}B\T=\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$이므로 정리의 Schur 보수 정의를 옮겨 쓴 것이고, 전분산 공식(보조정리 0.3)과 같은 식이다. $\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\succeq0$이므로 부등식이 나온다.

조건부 평균과 분산은 공분산행렬 대신 정밀도행렬 $\Lambda=\Sigma^{-1}$로도 쓸 수 있다. 이 표현이 노트북의 독립 검산과 가우시안 그래프 모형의 출발점이다.

정리 3.15 (정밀도행렬 표현) $\Sigma\succ0$, $\Lambda=\Sigma^{-1}$을 같은 크기로 나누면

$$\Sigma_{11\cdot2}=\Lambda_{11}^{-1},\qquad \bmu_{1\cdot2}=\bmu_1-\Lambda_{11}^{-1}\Lambda_{12}(\x_2-\bmu_2).$$

증명 보조정리 3.3(d)에서 $\Lambda_{11}=\Sigma_{11\cdot2}^{-1}$, $\Lambda_{12}=-\Sigma_{11\cdot2}^{-1}B$이므로 $-\Lambda_{11}^{-1}\Lambda_{12}=B$이다(연습 3.2).

조건부 독립과 정밀도의 0 $\X_1=(X_i,X_j)$, $\X_2=$ 나머지 전부로 두면 정리 3.15에서 $\Cov\bigl((X_i,\allowbreak X_j)\mid\text{나머지}\bigr)=\Lambda_{\{ij\}}^{-1}$이고, $2\times2$ 행렬의 역의 비대각원소는 $-\Lambda_{ij}/\det$이다. 따라서 $X_i\perp X_j\mid$ 나머지 $\iff\Lambda_{ij}=0$이다(연습 3.11). $\Sigma$의 $0$은 주변 무상관, $\Lambda$의 $0$은 조건부 무상관이다. 가우시안 그래프 모형과 graphical lasso가 이 사실 위에 서 있다.

예제 3.16 ($3\times3$ 손계산) 다음 분포에서 $X_1\mid(X_2,X_3)=(x_2,x_3)$를 구하자.

$$\bmu=\begin{pmatrix}1\\0\\-1\end{pmatrix},\qquad \Sigma=\begin{pmatrix}4&2&0\\2&2&1\\0&1&2\end{pmatrix}.$$

$$\begin{align*} \Sigma_{22}&=\begin{pmatrix}2&1\\1&2\end{pmatrix},\quad |\Sigma_{22}|=3,\quad \Sigma_{22}^{-1}=\frac13\begin{pmatrix}2&-1\\-1&2\end{pmatrix},\qquad \Sigma_{12}=(2,\ 0),\\ B&=\Sigma_{12}\Sigma_{22}^{-1}=\tfrac13(4,\,-2)=\bigl(\tfrac43,\,-\tfrac23\bigr),\\ \bmu_{1\cdot2}&=1+\tfrac43\,(x_2-0)-\tfrac23\,(x_3+1),\qquad \Sigma_{11\cdot2}=4-B\Sigma_{21}=4-\bigl(\tfrac43\cdot2+(-\tfrac23)\cdot0\bigr)=\tfrac43 . \end{align*}$$

예를 들어 $(x_2,x_3)=(1,0)$이면 $X_1\mid(1,\allowbreak 0)\sim\N(\tfrac53,\allowbreak \tfrac43)$이다.

검산. $|\Sigma|=4$이고

$$\Lambda=\Sigma^{-1}=\frac14\begin{pmatrix}3&-4&2\\-4&8&-4\\2&-4&4\end{pmatrix}.$$

정리 3.15으로 $1/\Lambda_{11}=\tfrac43$, $-\Lambda_{12}/\Lambda_{11}=\tfrac43$, $-\Lambda_{13}/\Lambda_{11}=-\tfrac23$로 일치한다. 보조정리 3.3(b)로도 $|\Sigma|=|\Sigma_{22}|\cdot\Sigma_{11\cdot2}=3\cdot\tfrac43=4$.

읽을거리. $\Sigma_{13}=0$이므로 $X_1$과 $X_3$은 무상관이고, 결합정규이므로 독립이다. 그런데 $X_2$를 알면 $X_3$의 계수가 $-\tfrac23\ne0$이다($\Lambda_{13}=\tfrac12\ne0$). 주변으로는 독립인데 조건부로는 종속이다. 공통의 자손 $X_2$를 통해 연결된 구조다.

연습문제

연습 3.8 (다른 조건 걸기 ★) 예제 3.16의 분포에서 $X_3\mid(X_1,X_2)=(x_1,x_2)$를 구하고 $\Lambda$로 검산하라.

풀이

조건 블록과 교차공분산은

$$\Sigma_{22}=\begin{pmatrix}4&2\\2&2\end{pmatrix},\qquad \Sigma_{22}^{-1}=\frac14\begin{pmatrix}2&-2\\-2&4\end{pmatrix},\qquad \Sigma_{12}=(\Sigma_{31},\Sigma_{32})=(0,\ 1)$$

이다. $B=(0,\allowbreak 1)\,\Sigma_{22}^{-1}=(-\tfrac12,\allowbreak \,1)$이므로

$$X_3\mid(x_1,x_2)\sim\N\Bigl(-1-\tfrac12(x_1-1)+x_2,\ \ 2-\bigl(0\cdot(-\tfrac12)+1\cdot1\bigr)\Bigr)=\N\Bigl(-\tfrac12-\tfrac12x_1+x_2,\ 1\Bigr).$$

검산: $1/\Lambda_{33}=1$, $-\Lambda_{31}/\Lambda_{33}=-\tfrac12$, $-\Lambda_{32}/\Lambda_{33}=1$.

연습 3.9 (조건을 더 걸면 ★) 같은 분포에서 $X_2\mid X_1=x_1$과 $X_2\mid(X_1,X_3)=(x_1,x_3)$을 구하라. 조건부 분산을 비교하고 따름정리 3.14(c)와 연결하라.

풀이

$X_2\mid X_1$: $B=\Sigma_{21}/\Sigma_{11}=\tfrac24$이므로 평균 $\tfrac12(x_1-1)$, 분산 $2-\tfrac{2^2}{4}=1$.

$X_2\mid(X_1,X_3)$: 조건 블록 $\diag(4,2)$, $\Sigma_{12}=(2,1)$, $B=(\tfrac12,\tfrac12)$이므로 평균 $\tfrac12(x_1-1)+\tfrac12(x_3+1)$, 분산 $2-(\tfrac12\cdot2+\tfrac12\cdot1)=\tfrac12$. 검산: $1/\Lambda_{22}=\tfrac12$.

조건을 하나 더 걸자 분산이 $1$에서 $\tfrac12$로 줄었다. 따름정리 3.14(c)를 $X_1$이 주어진 조건부분포 안에서 다시 쓴 것이다. $X_3$은 $X_1$과 독립이지만, $X_1$이 주어진 뒤에도 $X_2$에 대한 정보를 더한다.

연습 3.10 (최선의 예측과 최선의 선형 예측 ★★) (a) 분산이 유한한 임의의 $(X,Y)$에서 모든 함수 $g$에 대해 $E[(Y-g(X))^2]\ge E[(Y-E[Y\mid X])^2]$임을 보여라. (b) $E[(Y-a-bX)^2]$를 최소로 하는 $(a,b)$가 $b=\Cov(X,Y)/\Var X$, $a=EY-b\,EX$임을 보여라. (c) $(X,Y)$가 결합정규이면 (a)와 (b)의 답이 같음을 보여라.

풀이

(a) $m(X)=E[Y\mid X]$로 쓰면

$$E(Y-g)^2=E(Y-m)^2+E(m-g)^2+2E\bigl[(Y-m)(m-g)\bigr],$$

이고 마지막 항은 반복기댓값으로 $0$이다. 따라서 $g=m$에서 최소다.

(b) $a$로 미분하면 $a=EY-b\,EX$이고, 이를 넣고 $b$로 미분하면 $b=\Cov(X,Y)/\Var X$.

(c) 따름정리 3.19로 $E[Y\mid X]=\mu_Y+\tfrac{\Cov(X,Y)}{\Var X}(X-\mu_X)$이고 이는 (b)의 직선이다.

연습 3.11 (조건부 독립 $\Leftrightarrow\Lambda_{ij}=0$ ★★★) $\X\sim\N_n(\bmu,\Sigma)$, $\Sigma\succ0$, $i\ne j$에 대해 $X_i\perp X_j\mid(X_k)_{k\ne i,j}$일 필요충분조건이 $\Lambda_{ij}=0$임을 증명하라.

풀이

$\X_1=(X_i,X_j)$, $\X_2=$ 나머지로 나눈다. 정리 3.13로 $\X_1\mid\X_2$는 이변량 정규이고, 정리 3.15으로 그 공분산은 $\Lambda_{[ij]}^{-1}$이다. $2\times2$ 역행렬을 직접 쓰면

$$\Lambda_{[ij]}^{-1}=\begin{pmatrix}\Lambda_{ii}&\Lambda_{ij}\\ \Lambda_{ji}&\Lambda_{jj}\end{pmatrix}^{-1} =\frac{1}{\Lambda_{ii}\Lambda_{jj}-\Lambda_{ij}^2}\begin{pmatrix}\Lambda_{jj}&-\Lambda_{ij}\\ -\Lambda_{ji}&\Lambda_{ii}\end{pmatrix}$$

이므로 조건부 공분산은 $-\Lambda_{ij}/(\Lambda_{ii}\Lambda_{jj}-\Lambda_{ij}^2)$이다. 조건부분포가 결합정규이므로 정리 3.11에 의해

$$X_i\perp X_j\mid\text{나머지}\iff\text{조건부 공분산}=0\iff\Lambda_{ij}=0 .$$

3.6 정리 D — 이차형식과 확률 타원

정리 3.17 (정리 D: 이차형식은 $\chi^2$) $\X\sim\N_n(\bmu,\Sigma)$, $\Sigma\succ0$이면 $\ Q=(\X-\bmu)\T\Sigma^{-1}(\X-\bmu)\sim\chi^2(n)$.

증명 전략 $\Sigma^{-1/2}$로 백색화하면 $Q$는 독립 표준정규의 제곱합이 된다.

1. $\Z=\Sigma^{-1/2}(\X-\bmu)\sim\N_n(\mathbf 0,\allowbreak \ \Sigma^{-1/2}\Sigma\Sigma^{-1/2})=\N_n(\mathbf 0,\allowbreak I)$이다.정리 3.8, 보조정리 3.2(a)

2. $Z_1,\dots,Z_n$은 독립 $\N(0,1)$이다.따름정리 3.12

3. $Q=(\X-\bmu)\T\Sigma^{-1/2}\Sigma^{-1/2}(\X-\bmu)=\Z\T\Z=\sum_iZ_i^2$이다.$\Sigma^{-1}=\Sigma^{-1/2}\Sigma^{-1/2}$

4. $Q\sim\chi^2(n)$이다.따름정리 1.9

따름정리 3.18 (확률 타원) $E_c=\{\x:(\x-\bmu)\T\Sigma^{-1}(\x-\bmu)\le c^2\}$에 대해 $P(\X\in E_c)=F_{\chi^2(n)}(c^2)$이다. $E_c$는 $\Sigma$의 고유벡터 $\mathbf v_i$ 방향으로 반지름 $c\sqrt{\lambda_i}$를 갖는 타원체이고, $n=2$이면

$$P(\X\in E_c)=1-e^{-c^2/2},\qquad \text{넓이}(E_c)=\pi c^2\sqrt{|\Sigma|}.$$

증명 전략 확률은 정리 D에서 바로 읽는다. 모양은 $\Sigma$의 고유벡터로 좌표를 회전해 축에 평행한 타원체로 만들어 읽는다. 단계별 증명은 연습 3.17(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$n=2$의 95% 타원은 $c^2=-2\log0.05=5.991$이다. 밀도는 $Q$만의 함수이므로 등고선이 곧 확률 타원이다.

연습문제

연습 3.12 (Galton의 95% 타원 ★) 표 2.1의 적합값으로 95% 타원의 두 반지름과 넓이를 구하라. (고유값은 $7.355$와 $2.170$이다.)

$$\hat\Sigma=\begin{pmatrix}3.191&2.062\\2.062&6.333\end{pmatrix}$$

풀이

$c^2=5.991$이다. 두 반지름은 $\sqrt{5.991\times7.355}=6.64$인치와 $\sqrt{5.991\times2.170}=3.61$인치. $|\hat\Sigma|=15.96$이므로 넓이는 $\pi\times5.991\times\sqrt{15.96}=75.2$제곱인치다.

연습 3.13 (모든 방향을 동시에 ★★) $\Sigma\succ0$일 때 첫 식을 보이고, 이로부터 둘째 식을 결론지어라. (14회 Scheffé 동시구간의 원형이다.)

$$\begin{gather*} \sup_{\ba\ne\mathbf0}\frac{\bigl(\ba\T(\X-\bmu)\bigr)^2}{\ba\T\Sigma\ba}=Q,\\[2pt] P\Bigl(\text{모든 }\ba\text{에 대해 }\ |\ba\T(\X-\bmu)|\le c\sqrt{\ba\T\Sigma\ba}\Bigr)=F_{\chi^2(n)}(c^2). \end{gather*}$$

풀이

$\mathbf d=\X-\bmu$로 쓰면 Cauchy–Schwarz로

$$(\ba\T\mathbf d)^2=\bigl((\Sigma^{1/2}\ba)\T(\Sigma^{-1/2}\mathbf d)\bigr)^2\le(\ba\T\Sigma\ba)\,(\mathbf d\T\Sigma^{-1}\mathbf d),$$

이고 등호는 $\ba\propto\Sigma^{-1}\mathbf d$에서 성립한다. 따라서 상한이 $Q$이고, 사건 "모든 $\ba$에 대해 $|\ba\T\mathbf d|\le c\sqrt{\ba\T\Sigma\ba}$"는 $\{Q\le c^2\}$와 같다. 확률은 $F_{\chi^2(n)}(c^2)$이다.

3.7 이변량의 경우 — 회귀식, 그리고 접점

따름정리 3.19 (이변량 회귀식) $(X,Y)$가 예제 3.7의 이변량 정규이면

$$\boxed{\ E[Y\mid X=x]=\mu_Y+\rho\,\frac{\sigma_Y}{\sigma_X}\,(x-\mu_X),\qquad \Var(Y\mid X=x)=\sigma_Y^2\,(1-\rho^2)\ }$$

이고, $X$와 $Y$의 자리를 바꾼 식도 성립한다. 표준화하면 $E[Z_Y\mid Z_X=z]=\rho z$, $E[Z_X\mid Z_Y=z]=\rho z$.

증명 정리 3.13에 $\Sigma_{11}=\sigma_Y^2$, $\Sigma_{12}=\rho\sigma_X\sigma_Y$, $\Sigma_{22}=\sigma_X^2$를 넣으면 $B=\rho\sigma_Y/\sigma_X$, $\Sigma_{11\cdot2}=\sigma_Y^2-\rho^2\sigma_Y^2$.

$|\rho|<1$이면 양쪽 방향 모두 평균 쪽으로 당겨진다. $\rho^2$은 $Y$의 분산 가운데 $X$가 설명하는 비율이다($\Var(E[Y\mid X])/\Var Y=\rho^2$). 회귀는 인과의 방향이 아니라 대칭적인 기하다. 이것이 여는 질문의 답이다.

정리 3.20 (접점의 자취) 회귀선 $y=m(x)=E[Y\mid X=x]$는 등고 타원들이 수직 접선을 갖는 점들의 자취다. 마찬가지로 $E[X\mid Y=y]$는 수평 접선을 갖는 점들의 자취다.

증명 고정된 $x$에서 $f(x,\allowbreak y)=f_X(x)\,f_{Y\mid X}(y\mid x)$이고, $f_{Y\mid X}(\cdot\mid x)$는 $m(x)$에서 유일하게 최대인 정규밀도다. 따라서 수직선 $\{X=x\}$ 위에서 $f$는 $(x,m(x))$에서만 최대다. $c=f(x,m(x))$라 하면 수직선은 볼록집합 $\{f\ge c\}$(타원의 내부)와 정확히 한 점에서 만난다. 즉 수직선은 등고선 $\{f=c\}$의 받침선이고, 매끄러운 타원에서 받침선은 접선이다.

증명 표준화 변수로 등고선은 $Q(u,\allowbreak w)=\tfrac{u^2-2\rho uw+w^2}{1-\rho^2}=c^2$이다. 접선이 수직인 점은 기울기벡터 $\nabla Q$가 수평인 점, 곧 $\partial Q/\partial w=0$인 점이다.

$$\frac{\partial Q}{\partial w}=\frac{2w-2\rho u}{1-\rho^2}=0\iff w=\rho u\iff y=\mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X).$$

마찬가지로 $\partial Q/\partial u=0\iff u=\rho w$가 수평 접점의 자취이고, 이는 $E[X\mid Y]$의 식이다.

$\sigma_X=\sigma_Y$이면 $\Sigma\propto\smat{1&\rho\\\rho&1}$의 고유벡터가 $(1,1)/\sqrt2$(고유값 $1+\rho$)와 $(1,-1)/\sqrt2$(고유값 $1-\rho$)이므로, $\rho>0$일 때 타원의 장축은 기울기 1의 'SD 선'이다. 두 회귀선은 장축을 사이에 두고 하나는 완만하고(기울기 $\rho$) 하나는 가파르다(그려진 기울기 $1/\rho$).

그림 3.4 $\rho=0.6$. 회귀선 $E[Z_Y\mid Z_X]$(파랑)은 수직 접점(○)을, $E[Z_X\mid Z_Y]$(빨강)은 수평 접점(□)을 지난다.

가정 주의 회귀의 오류(regression fallacy). Kahneman의 비행교관 일화가 유명하다. 교관들은 “칭찬하면 다음 비행이 나빠지고 질책하면 좋아진다”고 믿었다. 그러나 두 번의 비행 성적이 같은 실력에 잡음이 더해진 값이면, 극단적인 성적 다음에는 아무 개입이 없어도 평균 쪽 성적이 나온다(연습 3.15). 회귀는 원인이 필요 없는 현상이다.

연습문제

연습 3.14 (기울기의 순서 ★) $0<\rho<1$이면 $x$–$y$ 평면에서 $E[Y\mid X]$의 기울기 $\rho\sigma_Y/\sigma_X$는 SD 선의 기울기 $\sigma_Y/\sigma_X$보다 작고, $E[X\mid Y]$를 그린 직선의 기울기 $\sigma_Y/(\rho\sigma_X)$는 더 큼을 보여라. Galton의 자료(표 2.1)에서 세 기울기는?

풀이

$0<\rho<1$이면 $\rho\tfrac{\sigma_Y}{\sigma_X}<\tfrac{\sigma_Y}{\sigma_X}<\tfrac{\sigma_Y}{\rho\sigma_X}$. Galton의 자료에서는 $0.646<1.409<3.071$이다.

연습 3.15 (시험–재시험 모형 ★★) 실력 $T\sim\N(\mu,\tau^2)$, 두 번의 성적 $X=T+E_1$, $Y=T+E_2$, $E_1,E_2\iid\N(0,s^2)$이 $T$와 독립이다. $(X,Y)$가 이변량 정규임을 보이고 $E[Y\mid X=x]$를 구하라. 신뢰도 $\tau^2/(\tau^2+s^2)$의 역할을 설명하고, 이것으로 비행교관 일화를 설명하라.

풀이

$(X,Y)$는 독립 정규 $(T,E_1,E_2)$의 선형변환이므로 결합정규다. $\Var X=\Var Y=\tau^2+s^2$, $\Cov(X,Y)=\tau^2$이므로

$$E[Y\mid X=x]=\mu+R\,(x-\mu),\qquad R=\frac{\tau^2}{\tau^2+s^2}\ (\text{신뢰도}).$$

첫 비행이 극단적으로 좋았다면 그 일부는 운($E_1$)이고, 운은 다음 비행에 이어지지 않는다. 그래서 둘째 비행은 평균 쪽으로 돌아온다. 칭찬이나 질책과 무관하게 일어나는 일이다.

연습 3.16 (Cramér–Wold 판정의 증명 ★★ 유도형) 정리 3.10를 다음 순서로 증명하라.

1. (a)

   $(\Rightarrow)$: 정리 3.8에 $C=\ba\T$를 넣어라.

2. (b)

   $(\Leftarrow)$: 각 $X_i=\mathbf e_i\T\X$가 정규이므로 $\bmu=E\X$와 $\Sigma=\Cov\X$가 존재함을 보여라. 공분산의 존재에는 무엇이 필요한가?

3. (c)

   보조정리 3.1와 가정으로 $\bt\T\X\sim\N(\bt\T\bmu,\allowbreak \ \bt\T\Sigma\bt)$임을 보여라.

4. (d)

   $M_{\X}(\bt)=E\,e^{1\cdot(\bt\T\X)}=M_{\bt\T\X}(1)$을 계산해 정의 3.4의 꼴임을 보여라. “모든 $\ba$”라는 가정을 어디서 썼는가?

풀이

(a) $\ba\T\X=C\X$ ($C=\ba\T$, $1\times n$)이므로 정리 3.8로 $\ba\T\X\sim\N(\ba\T\bmu,\allowbreak \ba\T\Sigma\ba)$이다. (b) 가정에 $\ba=\mathbf e_i$를 넣으면 $X_i$가 정규이므로 $EX_i^2<\infty$이다. 그러면 $|X_iX_j|\le\tfrac12(X_i^2+X_j^2)$로 모든 공분산이 존재한다. 공분산의 존재에는 2차 적률이 유한하다는 것이 필요하다. (c) 보조정리 3.1로 $E\bt\T\X=\bt\T\bmu$, $\Var(\bt\T\X)=\bt\T\Sigma\bt$이고, 가정으로 $\bt\T\X$가 정규이므로 그 평균과 분산을 가진 정규다. (d) $M_{\X}(\bt)=E\,e^{\bt\T\X}=M_{\bt\T\X}(1)=\exp\bigl(\bt\T\bmu+\tfrac12\bt\T\Sigma\bt\bigr)$이다. $\bt$마다 다른 선형결합 $\bt\T\X$의 정규성을 썼으므로 “모든 $\ba$”가 필요하다. 성분마다($\ba=\mathbf e_i$) 정규인 것만으로는 부족하다는 것이 5.1절의 반례다.

연습 3.17 (확률 타원의 증명 ★ 유도형) 따름정리 3.18를 다음 순서로 증명하라.

1. (a)

   정리 3.17로 $P(\X\in E_c)=F_{\chi^2(n)}(c^2)$를 보여라.

2. (b)

   $\Sigma=V\Lambda V\T$에서 $\mathbf y=V\T(\x-\bmu)$로 두면 $(\x-\bmu)\T\Sigma^{-1}(\x-\bmu)=\sum_iy_i^2/\lambda_i$임을 보이고, $E_c$가 $\mathbf v_i$ 방향의 반지름이 $c\sqrt{\lambda_i}$인 타원체임을 설명하라.

3. (c)

   $n=2$이면 $\chi^2(2)$가 평균 2인 지수분포임을 밀도로 확인하고 $F(c^2)=1-e^{-c^2/2}$를 얻어라.

4. (d)

   반지름이 $a,b$인 타원의 넓이 $\pi ab$로 넓이 $\pi c^2\sqrt{|\Sigma|}$를 얻어라.

풀이

(a) $\{\X\in E_c\}=\{Q\le c^2\}$이고 정리 3.17로 $Q\sim\chi^2(n)$이다. (b) $\Sigma^{-1}=V\Lambda^{-1}V\T$이므로 $(\x-\bmu)\T\Sigma^{-1}(\x-\bmu)=\mathbf y\T\Lambda^{-1}\mathbf y=\sum_iy_i^2/\lambda_i$이다. $\mathbf y$ 좌표에서 $E_c$는 $\sum_i(y_i/(c\sqrt{\lambda_i}))^2\le1$, 곧 축이 좌표축이고 반지름이 $c\sqrt{\lambda_i}$인 타원체다. $\x=\bmu+V\mathbf y$이므로 $\x$ 좌표에서 축은 $\mathbf v_i$ 방향이다(회전은 길이를 바꾸지 않는다). (c) $\chi^2(2)=\Gamma(1,2)$의 밀도는 $\tfrac12e^{-w/2}$ ($w>0$)이고, 이것은 평균 2인 지수분포다. $F(c^2)=\int_0^{c^2}\tfrac12e^{-w/2}dw=1-e^{-c^2/2}$이다. (d) 반지름이 $c\sqrt{\lambda_1}$, $c\sqrt{\lambda_2}$이므로 넓이는 $\pi c^2\sqrt{\lambda_1\lambda_2}=\pi c^2\sqrt{|\Sigma|}$이다($|\Sigma|=\lambda_1\lambda_2$).

이 절을 PDF로 보기 (21쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례