5회 · 정규분포의 탄생과 Galton의 타원 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거. 적분과 극한의 순서를 바꾸는 곳에는 조건을 확인한다.

C1 Stein 항등식 ★★

[T6] · 정리 1.8 · 20분

$Z\sim\N(0,1)$이고 $g$는 미분가능하며 $E|g'(Z)|<\infty$, $\lim_{|z|\to\infty}g(z)\varphi(z)=0$이다.

1. (a)

   $\varphi'(z)=-z\varphi(z)$와 부분적분으로 $E[Zg(Z)]=E[g'(Z)]$를 보여라.

2. (b)

   $g(z)=z^3$을 넣어 $EZ^4=3$을 다시 얻어라.

3. (c)

   $X\sim\N(\mu,\sigma^2)$이면 $E[(X-\mu)g(X)]=\sigma^2E[g'(X)]$임을 보여라. $g(x)=e^{tx}$를 넣으면 무엇이 나오는가?

힌트

(a) $\int_{-R}^{R}g(z)\,z\varphi(z)\,dz=\bigl[-g\varphi\bigr]_{-R}^{R}+\int_{-R}^Rg'\varphi$로 유한 구간에서 부분적분한 뒤 $R\to\infty$로 보낸다. 극한과 적분의 교환에는 $E|g'(Z)|<\infty$가 쓰인다.

풀이

(a) 유한 구간 $[-R,R]$에서 $z\varphi(z)=-\varphi'(z)$이므로 부분적분으로

$$\int_{-R}^{R}g(z)\,z\varphi(z)\,dz=\Bigl[-g(z)\varphi(z)\Bigr]_{-R}^{R}+\int_{-R}^Rg'(z)\varphi(z)\,dz .$$

가정으로 경계항은 $R\to\infty$에서 0이고, $E|g'(Z)|<\infty$이므로 오른쪽 적분은 $E\,g'(Z)$로 수렴한다(지배수렴 [T6], 지배함수 $|g'|\varphi$). 따라서 왼쪽도 수렴하고 $E[Zg(Z)]=E[g'(Z)]$이다.

(b) $g(z)=z^3$이면 $g\varphi\to0$이고 $E|3Z^2|<\infty$이므로 $EZ^4=E[3Z^2]=3$이다.

(c) $X=\mu+\sigma Z$로 쓰고 $h(z)=g(\mu+\sigma z)$에 (a)를 쓰면 $E[(X-\mu)g(X)]=\sigma E[Zh(Z)]=\sigma E[h'(Z)]=\sigma^2E[g'(X)]$이다. $g(x)=e^{tx}$이면 $E[(X-\mu)e^{tX}]=\sigma^2tM_X(t)$, 곧 $M_X'(t)-\mu M_X(t)=\sigma^2tM_X(t)$라는 미분방정식이고, $M_X(0)=1$로 풀면 $M_X(t)=e^{\mu t+\sigma^2t^2/2}$이다.

C2 Box–Muller 변환 ★★

[T7] · 보조정리 0.2 · 25분

$U_1,U_2\iid\mathrm U(0,1)$이고

$$Z_1=\sqrt{-2\log U_1}\cos(2\pi U_2),\qquad Z_2=\sqrt{-2\log U_1}\sin(2\pi U_2)$$

이면 $Z_1,Z_2\iid\N(0,1)$임을 보여라. (힌트를 보기 전에 극좌표 $R=\sqrt{-2\log U_1}$, $\Phi=2\pi U_2$의 분포부터 구해 본다.)

힌트

$(R,\Phi)$는 독립이고 $\Phi\sim\mathrm U(0,2\pi)$, $P(R>r)=P(U_1<e^{-r^2/2})=e^{-r^2/2}$이다. 그다음 극좌표에서 직교좌표로의 변수변환(노트 연습 0.1의 야코비안 $r$)을 쓴다.

풀이

$R=\sqrt{-2\log U_1}$이면 $r>0$에서 $P(R>r)=P(-2\log U_1>r^2)=P(U_1<e^{-r^2/2})=e^{-r^2/2}$이므로 $f_R(r)=re^{-r^2/2}$이다. $\Phi=2\pi U_2\sim\mathrm U(0,\allowbreak 2\pi)$이고 $R\perp\Phi$이므로 $f_{R,\Phi}(r,\allowbreak \varphi)=\tfrac1{2\pi}re^{-r^2/2}$이다. $(z_1,\allowbreak z_2)=(r\cos\varphi,\allowbreak r\sin\varphi)$는 $(0,\infty)\times(0,2\pi)$에서 $\R^2$ (한 반직선을 뺀 곳)으로 가는 일대일 변환이고, 역변환의 야코비안은 $1/r$이다(노트 연습 0.1의 역수). 보조정리 0.2로

$$f_{Z_1,Z_2}(z_1,z_2)=\frac1{2\pi}\,r\,e^{-r^2/2}\cdot\frac1r=\frac1{2\pi}e^{-(z_1^2+z_2^2)/2}=\varphi(z_1)\varphi(z_2).$$

결합밀도가 곱으로 쪼개지므로 $Z_1,Z_2$는 독립 표준정규다. 빠진 반직선은 넓이가 0이므로 밀도에 영향이 없다.

C3 정규표본의 평균과 잔차 ★★

정리 3.8, 3.11 · 20분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\N(\mu,\allowbreak \sigma^2)$이다.

1. (a)

   $(\bar X,\allowbreak \,X_1-\bar X,\allowbreak \dots,\allowbreak X_n-\bar X)$가 결합정규임을 보여라.

2. (b)

   $\Cov(\bar X,X_i-\bar X)=0$을 계산해 $\bar X$가 잔차벡터 $(X_1-\bar X,\dots,X_n-\bar X)$와 독립임을 보여라.

3. (c)

   $\bar X\perp S^2=\frac1{n-1}\sum(X_i-\bar X)^2$을 결론지어라. 어느 단계에서 정규 가정을 썼는가?

힌트

(a) $(n+1)$차원 벡터가 $\X$의 선형변환 $C\X$다. (c) 독립인 두 확률벡터의 함수는 독립이다.

풀이

(a) $\X\sim\N_n(\mu\mathbf1,\allowbreak \sigma^2I)$이고 $(\bar X,\allowbreak X_1-\bar X,\allowbreak \dots)\T=C\X$, $C$의 첫 행은 $\tfrac1n\mathbf1\T$, 나머지 행은 $\mathbf e_i\T-\tfrac1n\mathbf1\T$이다. 정리 3.8로 결합정규다.

(b) $\Cov(\bar X,\allowbreak X_i)=\tfrac1n\sigma^2$, $\Var\bar X=\tfrac{\sigma^2}n$이므로 $\Cov(\bar X,\allowbreak X_i-\bar X)=\tfrac{\sigma^2}n-\tfrac{\sigma^2}n=0$이다. (a)의 결합정규에서 첫 블록 $\bar X$와 둘째 블록(잔차벡터)의 교차 공분산이 0이므로 정리 3.11로 독립이다.

(c) $S^2$은 잔차벡터의 함수이므로 $\bar X\perp S^2$이다. 정규 가정은 (a)(결합정규)에서만 썼다. (b)의 공분산 계산은 분산이 같은 독립 표본이면 어떤 분포에서나 성립하지만, 무상관에서 독립으로 가는 데 결합정규가 필요하다.

C4 주변은 정규, 상관은 $\rho$ρ, 결합정규는 아니다 ★★

[T2] · 정리 3.10 · 25분

$(X,Y)$를 확률 $\tfrac12$로 상관 $0.9$인 표준화 이변량 정규에서, 확률 $\tfrac12$로 상관 $-0.1$인 표준화 이변량 정규에서 뽑는다.

1. (a)

   $X$와 $Y$가 각각 $\N(0,1)$이고 $\Corr(X,Y)=0.4$임을 보여라.

2. (b)

   $S=X+Y$의 분산과 4차 적률을 구하라.

3. (c)

   $S$의 첨도 $ES^4/(ES^2)^2$를 계산해 $S$가 정규가 아님을 보이고, $(X,Y)$가 결합정규가 아님을 결론지어라.

힌트

성분 지시변수 $I$에 조건을 걸면 $S\mid I\sim\N(0,2+2\rho_I)$이다. $ES^4=E\bigl[3(2+2\rho_I)^2\bigr]$.

풀이

(a) 성분마다 $X$는 $\N(0,1)$이므로 혼합도 $\N(0,1)$이다($P(X\le x)=\tfrac12\Phi(x)+\tfrac12\Phi(x)$). $Y$도 같다. $E[XY]=\tfrac12(0.9)+\tfrac12(-0.1)=0.4$이다.

(b) $S\mid I\sim\N(0,2+2\rho_I)$, 곧 분산 $3.8$ 또는 $1.8$이다. $ES^2=\tfrac12(3.8+1.8)=2.8$, $ES^4=\tfrac12\cdot3(3.8^2+1.8^2)=26.52$이다.

(c) 첨도는 $26.52/2.8^2=\tfrac{663}{196}\approx3.383\ne3$이므로 $S$는 정규가 아니다. 결합정규라면 정리 3.10으로 $X+Y$가 정규여야 하므로 $(X,Y)$는 결합정규가 아니다. 주변분포와 상관계수만으로는 결합정규를 판정할 수 없다.

최종답 (c) $\tfrac{663}{196}\approx3.383$

C5 편상관계수 ★★

정리 3.13 · 20분

$(X_1,X_2,X_3)$이 결합정규이고 분산이 모두 1, 상관이 $\rho_{12},\rho_{13},\rho_{23}$ ($|\rho_{13}|,|\rho_{23}|<1$)이다. $X_3=x_3$이 주어질 때 $X_1$과 $X_2$의 조건부 상관이

$$\rho_{12\cdot3}=\frac{\rho_{12}-\rho_{13}\rho_{23}}{\sqrt{(1-\rho_{13}^2)(1-\rho_{23}^2)}}$$

임을 보이고, 이것이 $x_3$에 의존하지 않음을 확인하라. $\rho_{12}>0$인데 $\rho_{12\cdot3}<0$인 예를 하나 들어라.

힌트

정리 3.13을 $\X_1=(X_1,X_2)$, $\X_2=X_3$에 쓴다. $\Sigma_{11\cdot2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$에서 $\Sigma_{22}=1$이다.

풀이

$\Sigma_{11}=\smat{1&\rho_{12}\\\rho_{12}&1}$, $\Sigma_{12}=(\rho_{13},\allowbreak \rho_{23})\T$, $\Sigma_{22}=1$이므로

$$\Sigma_{11\cdot2}=\begin{pmatrix}1-\rho_{13}^2&\rho_{12}-\rho_{13}\rho_{23}\\ \rho_{12}-\rho_{13}\rho_{23}&1-\rho_{23}^2\end{pmatrix}.$$

조건부 상관은 이 행렬의 상관이므로 주어진 식이고, $\Sigma_{11\cdot2}$가 $x_3$에 의존하지 않으므로(따름정리 3.14(b)) 조건부 상관도 그렇다. 예: $\rho_{12}=0.2$, $\rho_{13}=\rho_{23}=0.6$이면 $\rho_{12\cdot3}=\tfrac{0.2-0.36}{0.64}=-0.25$이다. 공통 원인 $X_3$이 만든 양의 상관을 걷어 내면 음의 관계가 남는다.

C6 조건을 더 걸면 분산은 줄어든다 ★★

[T4] · 따름정리 3.14 · 15분

$(X_1,X_2,X_3)$이 결합정규이고 $\Sigma\succ0$이다. $\Var(X_1\mid X_2,\allowbreak X_3)\le\Var(X_1\mid X_2)\le\Var X_1$임을 보여라. 첫 부등식이 등호일 필요충분조건은 무엇인가?

힌트

$X_2$에 대한 조건부분포 $(X_1,X_3)\mid X_2$도 결합정규이다(정리 3.13). 그 분포에 따름정리 3.14(c)를 다시 쓴다.

풀이

따름정리 3.14(c)를 $(X_1,X_2)$에 쓰면 $\Var(X_1\mid X_2)\le\Var X_1$이다. 정리 3.13으로 $(X_1,X_3)\mid X_2=x_2$는 공분산이 $S=\Sigma_{\{13\}\cdot2}$인 결합정규이고 $S$는 $x_2$에 의존하지 않는다. 조건부밀도의 정의로 $f(x_1\mid x_2,\allowbreak x_3)=f(x_1,\allowbreak x_3\mid x_2)/f(x_3\mid x_2)$이므로, $X_1\mid(X_2,X_3)$은 분포 $(X_1,X_3)\mid X_2=x_2$에서 다시 $X_3$에 조건을 건 것이다. 이 분포에 정리 3.13을 쓰면 $\Var(X_1\mid X_2,\allowbreak X_3)=S_{11}-S_{13}^2/S_{33}\le S_{11}=\Var(X_1\mid X_2)$이다. 등호는 $S_{13}=0$, 곧 $X_2$가 주어질 때 $X_1$과 $X_3$이 무상관(결합정규이므로 조건부 독립)일 때다.

C7 정규 꼬리를 넘어선 양은 지수분포에 가깝다 ★★

[T5] · 노트 연습 1.11 · 25분

$Z\sim\N(0,1)$이다. 모든 $x>0$에 대해

$$\lim_{z\to\infty}P\Bigl(Z>z+\frac xz\ \Big|\ Z>z\Bigr)=e^{-x}$$

임을 보여라. 곧 $z(Z-z)$는 $Z>z$일 때 근사적으로 평균 1인 지수분포다.

힌트

노트 연습 1.11의 Mills 부등식으로 $1-\Phi(z)=\frac{\varphi(z)}z(1+O(z^{-2}))$이다. 분자와 분모에 쓰고 $\varphi(z+x/z)/\varphi(z)$를 계산한다.

풀이

Mills 부등식 $\bigl(\tfrac1z-\tfrac1{z^3}\bigr)\varphi(z)\le1-\Phi(z)\le\tfrac{\varphi(z)}z$에서 $1-\Phi(z)=\tfrac{\varphi(z)}z(1+O(z^{-2}))$이다. $w=z+x/z$로 두면

$$\frac{1-\Phi(w)}{1-\Phi(z)}=\frac{\varphi(w)/w}{\varphi(z)/z}\,\frac{1+O(w^{-2})}{1+O(z^{-2})},\qquad \frac{\varphi(w)}{\varphi(z)}=e^{-(w^2-z^2)/2}=e^{-x-x^2/(2z^2)} .$$

$z/w\to1$, $e^{-x^2/(2z^2)}\to1$이므로 비는 $e^{-x}$로 간다 [T5]. 정규분포의 꼬리는 깊이 들어갈수록 “넘어선 양”의 척도가 $1/z$로 줄어드는 지수분포처럼 행동한다.

C8 이차형식이 $\chi^2$χ²이 되는 조건 ★★★

정리 3.17 · 30분

$\X\sim\N_n(\mathbf0,\Sigma)$, $\Sigma\succ0$, $A$는 대칭행렬이다. $A\Sigma A=A$이고 $\operatorname{rank}A=r$이면 $\X\T A\X\sim\chi^2(r)$임을 보여라. $A=\Sigma^{-1}$이면 정리 3.17이 됨을 확인하라.

힌트

$P=\Sigma^{1/2}A\Sigma^{1/2}$이 대칭이고 $P^2=P$임을 보인다. 대칭 멱등행렬은 $P=UU\T$, $U\T U=I_r$로 쓸 수 있다(스펙트럼 분해에서 고유값이 0 또는 1).

풀이

$\Z=\Sigma^{-1/2}\X\sim\N_n(\mathbf0,\allowbreak I)$이고 $\X\T A\X=\Z\T P\Z$, $P=\Sigma^{1/2}A\Sigma^{1/2}$이다. $P$는 대칭이고 $P^2=\Sigma^{1/2}A\Sigma A\Sigma^{1/2}=\Sigma^{1/2}A\Sigma^{1/2}=P$이다. 대칭 멱등행렬의 고유값은 $\lambda^2=\lambda$에서 0 또는 1이므로 스펙트럼 분해(보조정리 3.2)로 $P=UU\T$, $U\T U=I_r$이고 $r=\operatorname{rank}P=\operatorname{rank}A$이다($\Sigma^{1/2}$는 가역). $\mathbf W=U\T\Z\sim\N_r(\mathbf0,\allowbreak U\T U)=\N_r(\mathbf0,\allowbreak I_r)$(정리 3.8)이므로 $\Z\T P\Z=\|\mathbf W\|^2\sim\chi^2(r)$이다(따름정리 3.12, 1.9). $A=\Sigma^{-1}$이면 $A\Sigma A=\Sigma^{-1}=A$, $r=n$이다.

C9 축소의 이득과 손해 ★★

따름정리 2.2 · 20분

$X\mid\theta\sim\N(\theta,\allowbreak \sigma^2)$, $\theta\sim\N(0,\tau^2)$, $B=\tau^2/(\tau^2+\sigma^2)$이다.

1. (a)

   $\theta$를 무작위로 보고 평균한 오차제곱 $E(X-\theta)^2$와 $E(BX-\theta)^2$을 구해 축소가 이득임을 보여라.

2. (b)

   $\theta$를 고정하면 $E_\theta(BX-\theta)^2=B^2\sigma^2+(1-B)^2\theta^2$임을 보여라. 이것이 $\sigma^2$보다 커지는 $|\theta|$의 범위는?

힌트

(a)는 $(\theta,X)$의 결합정규에서 $\Var(\theta\mid X)$가 $B\sigma^2$이고 $E[\theta\mid X]=BX$임을 쓴다. (b)는 $BX-\theta=B(X-\theta)-(1-B)\theta$로 쪼갠다.

풀이

(a) $E(X-\theta)^2=E[E((X-\theta)^2\mid\theta)]=\sigma^2$이다. 따름정리 2.2(같은 계산)로 $E[\theta\mid X]=BX$이고 $\Var(\theta\mid X)=\tfrac{\tau^2\sigma^2}{\tau^2+\sigma^2}=B\sigma^2$이므로 $E(BX-\theta)^2=E[\Var(\theta\mid X)]=B\sigma^2<\sigma^2$이다.

(b) $BX-\theta=B(X-\theta)-(1-B)\theta$이고 첫 항의 평균은 0이므로 $E_\theta(BX-\theta)^2=B^2\sigma^2+(1-B)^2\theta^2$이다. 이것이 $\sigma^2$보다 크다는 것은 $(1-B)^2\theta^2>(1-B^2)\sigma^2$, 곧 $\theta^2>\tfrac{1+B}{1-B}\sigma^2$이다. 사전분포가 말하는 범위 밖의 $\theta$에서는 축소가 손해다. 평균한 위험은 줄지만 모든 $\theta$에서 줄지는 않는다.

워크북 PDF풀이판 PDF답 확인