5회 · 정규분포의 탄생과 Galton의 타원 · 워크북

D. 퀄형

여러 절의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 어떤 분포가 결합정규인지, 그 근거가 무엇인지 적는 것부터 답안의 일부다.

D1 이변량 정규의 최댓값 ★★★

정리 1.8, 3.8 · 제한 30분

$(X,Y)$는 표준화 이변량 정규이고 상관이 $\rho$ ($|\rho|<1$)이다. $M=\max(X,Y)$라 하자.

1. (a)

   $\max(x,\allowbreak y)=\tfrac{x+y}2+\tfrac{|x-y|}2$와 $E|N|=s\sqrt{2/\pi}$ ($N\sim\N(0,s^2)$)를 써서 $EM=\sqrt{(1-\rho)/\pi}$임을 보여라.

2. (b)

   $(X,Y)$와 $(-X,-Y)$가 같은 분포임을 써서 $EM^2=1$을 보이고 $\Var M$을 구하라.

3. (c)

   $\rho\to1$과 $\rho=-1$ 근방에서 (a)(b)를 해석하라.

힌트

(a) $X-Y\sim\N(0,2-2\rho)$(정리 3.8). (b) $M^2+m^2=X^2+Y^2$ ($m=\min(X,Y)$)이고, $(X,Y)\mapsto(-X,-Y)$는 $M$을 $-m$으로 보낸다.

풀이

(a) $E\tfrac{X+Y}2=0$이고 $X-Y=\ba\T(X,Y)\T$, $\ba=(1,-1)$이므로 정리 3.8로 $X-Y\sim\N(0,2-2\rho)$이다. $N\sim\N(0,s^2)$이면 $E|N|=2\int_0^\infty x\frac{1}{s\sqrt{2\pi}}e^{-x^2/(2s^2)}dx=s\sqrt{2/\pi}$이다. 따라서 $EM=\tfrac12\sqrt{2-2\rho}\sqrt{2/\pi}=\sqrt{(1-\rho)/\pi}$이다.

(b) $m=\min(X,Y)$이면 $M^2+m^2=X^2+Y^2$이므로 $EM^2+Em^2=2$이다. $(-X,-Y)$는 $(X,Y)$와 같은 분포(평균 0, 공분산 같음)이고 $\max(-X,-Y)=-m$이므로 $M$과 $-m$은 같은 분포, 특히 $EM^2=Em^2=1$이다. 따라서 $\Var M=1-\tfrac{1-\rho}{\pi}$이다.

(c) $\rho\to1$이면 $X\approx Y$이므로 $M\approx X$, $EM\to0$, $\Var M\to1$이다. $\rho=-1$이면 $Y=-X$, $M=|X|$이고 $EM=\sqrt{2/\pi}$, $\Var M=1-2/\pi$로 (a)(b)의 극한과 일치한다. $\rho=0$이면 $EM=1/\sqrt\pi\approx0.564$이다.

최종답 (a) $\sqrt{(1-\rho)/\pi}$ (b) $1-(1-\rho)/\pi$

D2 가운데 이항계수와 되돌아옴 ★★★

[T5], [T8] · 보조정리 1.1, 정리 1.2 · 제한 40분

공정한 동전으로 $\pm1$ 걸음을 걷는 무작위 걸음 $W_m=\xi_1+\cdots+\xi_m$을 생각한다.

1. (a)

   $P(W_{2n}=0)=\binom{2n}n4^{-n}$임을 보이고, 정리 1.2로 $P(W_{2n}=0)\sim1/\sqrt{\pi n}$을 보여라.

2. (b)

   Stirling 공식만으로 같은 결론을 다시 얻어라.

3. (c)

   보조정리 1.1의 부등식에서 $m!=\sqrt{2\pi m}(m/e)^me^{1/(12m)+O(m^{-2})}$이다. 이것으로 $P(W_{2n}=0)\sqrt{\pi n}=1+c/n+O(n^{-2})$의 상수 $c$를 구하라.

4. (d)

   원점으로 되돌아오는 횟수의 기댓값 $\sum_{n\ge1}P(W_{2n}=0)$이 발산함을 보여라.

힌트

(a) $W_{2n}=0$은 $2n$걸음 가운데 정확히 $n$걸음이 $+1$인 사건이다. $\mathrm{Bin}(2n,\tfrac12)$에서 $\sqrt{npq}=\sqrt{n/2}$, $x_k=0$. (c) $\exp\bigl(\tfrac1{24n}-\tfrac2{12n}\bigr)$을 1차까지 전개한다. (d) $\sum1/\sqrt n=\infty$와 비교 판정 [T5].

풀이

(a) $W_{2n}=0$은 $+1$이 정확히 $n$번인 사건이므로 확률은 $\binom{2n}n2^{-2n}$이다. 정리 1.2를 $\mathrm{Bin}(2n,\tfrac12)$, $k=n$에 쓰면 $x_k=0$, $npq=\tfrac n2$이므로 $P\approx\tfrac1{\sqrt{2\pi\cdot n/2}}=\tfrac1{\sqrt{\pi n}}$이다.

(b) $\binom{2n}n=\tfrac{(2n)!}{(n!)^2}=\tfrac{\sqrt{4\pi n}(2n/e)^{2n}}{2\pi n(n/e)^{2n}}(1+o(1))=\tfrac{4^n}{\sqrt{\pi n}}(1+o(1))$이다.

(c) 지수 부분만 남기면 $\binom{2n}n4^{-n}\sqrt{\pi n}=\exp\bigl(\tfrac1{24n}-2\cdot\tfrac1{12n}+O(n^{-2})\bigr)=\exp\bigl(-\tfrac1{8n}+O(n^{-2})\bigr)=1-\tfrac1{8n}+O(n^{-2})$이다 [T8]. 따라서 $c=-\tfrac18$이다. $n=50$이면 $1-\tfrac1{400}=0.9975$이고, 실제 비는 $0.079589/0.079788=0.99750$이다.

(d) (a)로 충분히 큰 $n$에서 $P(W_{2n}=0)\ge\tfrac1{2\sqrt{\pi n}}$이고 $\sum1/\sqrt n=\infty$이므로 비교 판정으로 발산한다. 되돌아온 횟수 $V=\sum_n\mathbf1\{W_{2n}=0\}$의 기댓값은 이 급수(음이 아닌 항의 합과 기댓값의 교환, [T6])이므로 무한대다. 1차원 대칭 무작위 걸음은 원점으로 무한히 자주 돌아올 수 있다.

최종답 (a) $1/\sqrt{\pi n}$ (c) $c=-\tfrac18$

D3 정규 계층모형의 예측분포 ★★★

정리 3.8, 3.13 · 제한 40분

$\theta\sim\N(\mu_0,\tau^2)$이고, $\theta$가 주어지면 $X_1,\allowbreak \dots,\allowbreak X_n\iid\N(\theta,\allowbreak \sigma^2)$이다.

1. (a)

   $(\theta,X_1,\dots,X_n)$이 결합정규임을 보이고 공분산행렬을 적어라.

2. (b)

   정리 3.13을 $\X_1=\theta$, $\X_2=(X_1,\dots,X_n)$에 써라. $\Sigma_{22}=\sigma^2I+\tau^2\mathbf1\mathbf1\T$의 역행렬은 $\frac1{\sigma^2}\bigl(I-\frac{\tau^2}{\sigma^2+n\tau^2}\mathbf1\mathbf1\T\bigr)$이다. 조건부분포가 표본에 $\bar x$를 통해서만 의존함을 보여라.

3. (c)

   다음 관측 $X_{n+1}$의 예측분포 $X_{n+1}\mid X_1,\dots,X_n$을 구하라.

4. (d)

   $\mu_0=0$, $\tau^2=4$, $\sigma^2=1$, $n=4$, $\bar x=2.5$이면 사후평균 $E[\theta\mid\x]$는 얼마인가?

5. (e)

   같은 수치에서 사후분산 $\Var(\theta\mid\x)$는?

6. (f)

   같은 수치에서 예측분산 $\Var(X_{n+1}\mid\x)$는?

힌트

(a) $X_i=\theta+E_i$, $E_i\iid\N(0,\sigma^2)$ 독립. (c) $X_{n+1}=\theta+E_{n+1}$이고 $E_{n+1}$은 $(\theta,X_1,\dots,X_n)$과 독립이다.

풀이

(a) $(\theta,E_1,\dots,E_n)$은 독립 정규이고 $(\theta,X_1,\dots,X_n)$은 그 선형변환이므로 결합정규다(정리 3.8). $\Var\theta=\tau^2$, $\Cov(\theta,X_i)=\tau^2$, $\Cov(X_i,\allowbreak X_j)=\tau^2+\sigma^2\mathbf1\{i=j\}$이다.

(b) $\Sigma_{12}=\tau^2\mathbf1\T$이므로 $B=\Sigma_{12}\Sigma_{22}^{-1}=\tfrac{\tau^2}{\sigma^2}\bigl(1-\tfrac{n\tau^2}{\sigma^2+n\tau^2}\bigr)\mathbf1\T=\tfrac{\tau^2}{\sigma^2+n\tau^2}\mathbf1\T$이다. 따라서

$$E[\theta\mid\x]=\mu_0+\frac{n\tau^2}{\sigma^2+n\tau^2}(\bar x-\mu_0),\qquad \Var(\theta\mid\x)=\tau^2-\frac{n\tau^4}{\sigma^2+n\tau^2}=\frac{\tau^2\sigma^2}{\sigma^2+n\tau^2}$$

이고 표본은 $B(\x-\mu_0\mathbf1)=\tfrac{n\tau^2}{\sigma^2+n\tau^2}(\bar x-\mu_0)$을 통해서만 들어온다. 역행렬 공식은 $\Sigma_{22}$에 곱해 $I$가 되는지 확인한다.

(c) $X_{n+1}=\theta+E_{n+1}$이고 $E_{n+1}$은 $(\theta,\X)$와 독립이므로, $\X=\x$가 주어지면 $X_{n+1}\sim\N\bigl(E[\theta\mid\x],\allowbreak \ \Var(\theta\mid\x)+\sigma^2\bigr)$이다.

(d) $n\tau^2=16$, $\sigma^2+n\tau^2=17$이므로 사후평균은 $\tfrac{16}{17}\cdot2.5=\tfrac{40}{17}\approx2.353$이다. (e) 사후분산은 $\tfrac{4\cdot1}{17}=\tfrac{4}{17}\approx0.235$이다. (f) 예측분산은 $1+\tfrac4{17}=\tfrac{21}{17}\approx1.235$이다. 예측의 불확실성은 관측 잡음 $\sigma^2$보다 언제나 크다.

최종답 (d) $\tfrac{40}{17}\approx2.353$ (e) $\tfrac{4}{17}\approx0.235$ (f) $\tfrac{21}{17}\approx1.235$

D4 선택된 집단의 회귀 ★★★

따름정리 3.19 · 제한 30분

$(X,Y)$는 표준화 이변량 정규이고 상관이 $\rho\in(0,1)$이다. $\lambda(c)=\varphi(c)/(1-\Phi(c))$라 하자.

1. (a)

   $E[X\mid X>c]=\lambda(c)$임을 보여라.

2. (b)

   $E[Y\mid X>c]=\rho\lambda(c)$임을 보여라.

3. (c)

   모든 $c$에서 $E[Y-X\mid X>c]<0$이고 $E[X-Y\mid Y>c]<0$임을 보여라. 여는 질문의 두 문장과 연결하라.

4. (d)

   $\rho=0.6$, $c=1$이면 $E[Y\mid X>1]$은 얼마인가? ($\lambda(1)=1.5251$)

5. (e)

   같은 수치에서 $E[X-Y\mid X>1]$은?

힌트

(a) $\int_c^\infty x\varphi(x)\,dx=\varphi(c)$. (b) 반복기댓값: $E[Y\mid X]=\rho X$이므로 $E[Y\mathbf1\{X>c\}]=\rho E[X\mathbf1\{X>c\}]$.

풀이

(a) $\varphi'(x)=-x\varphi(x)$이므로 $E[X\mathbf1\{X>c\}]=\int_c^\infty x\varphi(x)dx=\varphi(c)$이고, $P(X>c)=1-\Phi(c)$로 나눈다.

(b) 따름정리 3.19로 $E[Y\mid X]=\rho X$이므로 반복기댓값으로 $E[Y\mathbf1\{X>c\}]=E[\mathbf1\{X>c\}E(Y\mid X)]=\rho E[X\mathbf1\{X>c\}]$이고, $P(X>c)$로 나누면 $\rho\lambda(c)$다.

(c) $E[Y-X\mid X>c]=(\rho-1)\lambda(c)<0$이다($\lambda(c)>0$, $\rho<1$). 대칭이므로 $E[X-Y\mid Y>c]=(\rho-1)\lambda(c)<0$이다. 키 큰 부모($X>c$)의 자녀는 부모보다 평균적으로 작고, 키 큰 자녀($Y>c$)의 부모도 자녀보다 평균적으로 작다. 두 문장은 같은 대칭 타원의 성질이다.

(d) $E[Y\mid X>1]=0.6\cdot1.5251=0.915$이다. (e) $E[X-Y\mid X>1]=(1-0.6)\cdot1.5251=0.610$이다. 선택된 집단은 다음 측정에서 평균 $0.61$표준편차만큼 내려온다.

최종답 (d) $0.6\,\lambda(1)\approx0.915$ (e) $0.4\,\lambda(1)\approx0.610$

워크북 PDF풀이판 PDF답 확인