3회 · 왜 평균을 내는가 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 0과 1만 갖는 변수의 상관 ★★

[T2] · 정리 4.2 · 1회 정리 5.8 · 15분

$X$와 $Y$가 0과 1만 값으로 갖는다.

1. (a)

   $\Cov(X,\allowbreak Y)=P(X=1,\allowbreak Y=1)-P(X=1)P(Y=1)$임을 보여라.

2. (b)

   $X$와 $Y$가 상관이 없으면 독립임을 보여라.

3. (c)

   세 값을 갖는 변수에서는 (b)가 성립하지 않음을 반례로 보여라.

힌트

(b) 사건 $A=\{X=1\}$과 $B=\{Y=1\}$이 독립이면 여사건들도 독립이다(1회 정리 5.8). 결합 확률질량함수의 네 칸이 모두 인수분해되는지 본다. (c) 노트 예제 4.7을 이산으로 바꾼다.

풀이

(a) $XY=\mathbf 1\{X=1,Y=1\}$이고 $EX=P(X=1)$, $EY=P(Y=1)$이므로 정리 4.2(a)에서 바로 나온다.

(b) (a)로 $P(A\cap B)=P(A)P(B)$이므로 사건 $A,B$는 독립이다. 1회 정리 5.8로 $A$와 $B^c$, $A^c$와 $B$, $A^c$와 $B^c$도 독립이다. 따라서 네 칸 모두 $p(x,y)=p_X(x)p_Y(y)$이고, 2회 정의 2.6(이산에서 독립)으로 $X,Y$는 독립이다.

(c) $X$가 $\{-1,0,1\}$에서 같은 확률이고 $Y=X^2$이면 $\Cov(X,Y)=EX^3-EX\,EX^2=0$이지만 $P(X=0,\allowbreak Y=1)=0\ne\tfrac13\cdot\tfrac23$이다. 0과 1만 갖는 변수에서는 분포가 평균 하나로 정해지므로 “함께 움직이는 정도”도 수 하나(공분산)로 다 드러난다. 값이 셋 이상이면 그렇지 않다.

C2 독립, 평균 독립, 상관없음 ★★

[T2] · 정리 2.5, 3.4 · 20분

$EX^2,EY^2<\infty$라 하자. $E(Y\mid X)=EY$이면 $Y$가 $X$에 평균 독립이라 한다.

1. (a)

   결합밀도가 있을 때, $X,Y$가 독립이면 평균 독립임을 보여라.

2. (b)

   평균 독립이면 $\Cov(X,Y)=0$임을 보여라.

3. (c)

   두 역이 모두 거짓임을 반례로 보여라. 평균 독립이지만 독립이 아닌 예와, 상관은 없지만 평균 독립이 아닌 예를 하나씩 만든다.

힌트

(a) 독립이면 조건부 밀도가 주변 밀도와 같다. (b) $E(XY)=E[X\,E(Y\mid X)]$. (c) 첫째 예: $X=x$일 때 $Y$가 $\pm x$를 같은 확률로 갖게 한다.

풀이

(a) 정리 3.2로 $f(x,y)=f_X(x)f_Y(y)$이므로 $f(y\mid x)=f_Y(y)$이고 $E(Y\mid X=x)=\int yf_Y(y)\,dy=EY$이다.

(b) 정리 2.5의 둘째 식으로 $E(XY)=E[X\,E(Y\mid X)]=E[X\,EY]=EX\,EY$이다. $E|XY|<\infty$는 $2|XY|\le X^2+Y^2$에서 나온다.

(c) 첫째: $X$가 $\{1,2\}$에서 같은 확률이고, $X=x$일 때 $Y=\pm x$를 같은 확률로 가지면 $E(Y\mid X)=0=EY$이지만 $|Y|=X$이므로 독립이 아니다($P(X=1,\,Y=2)=0$). 둘째: $X\sim\mathrm U(-1,1)$, $Y=X^2$이면 $\Cov(X,Y)=0$(노트 예제 4.7)이지만 $E(Y\mid X)=X^2$은 상수가 아니다. 따라서 독립 $\Rightarrow$ 평균 독립 $\Rightarrow$ 상관없음이고, 어느 화살표도 거꾸로 성립하지 않는다.

C3 전공분산 공식 ★★

정리 2.5, 2.6 · 20분

$\Cov(X,\allowbreak Y\mid Z)=E\bigl[(X-E(X\mid Z))(Y-E(Y\mid Z))\mid Z\bigr]$로 정의한다. 모든 변수의 이차적률이 유한하다.

1. (a)

   다음을 보여라.

   $$\Cov(X,Y)=E\bigl[\Cov(X,Y\mid Z)\bigr]+\Cov\bigl(E(X\mid Z),\,E(Y\mid Z)\bigr)$$
2. (b)

   $X=Y$이면 무엇이 되는가?

3. (c)

   $Z\sim\mathrm U(0,1)$이고, $Z=z$일 때 $X$와 $Y$가 서로 독립인 $\mathrm{Bernoulli}(z)$이다. $\Cov(X,Y)$를 구하라.

힌트

(a) 전분산 공식의 증명을 그대로 따른다. $X-EX=(X-a(Z))+(a(Z)-EX)$, $Y-EY=(Y-b(Z))+(b(Z)-EY)$로 쪼개 곱하면 네 항이 나온다. (c) 조건부 공분산은 0이다.

풀이

(a) $a(Z)=E(X\mid Z)$, $b(Z)=E(Y\mid Z)$로 두고 두 분해를 곱해 기댓값을 취하면 네 항이 나온다. (i) $E[(X-a)(Y-b)]=E[\Cov(X,\allowbreak Y\mid Z)]$ (정리 2.5를 $(X-a(Z))(Y-b(Z))$에). (ii) $E[(a-EX)(b-EY)]=\Cov(a(Z),\allowbreak b(Z))$ ($Ea(Z)=EX$, $Eb(Z)=EY$). (iii) $E[(X-a(Z))(b(Z)-EY)]=0$: 정리 2.5의 둘째 식을 $X$와 $g(Z)=b(Z)-EY$에 쓴다. (iv) 같은 이유로 $E[(a(Z)-EX)(Y-b(Z))]=0$이다. 기댓값의 존재는 $2|uv|\le u^2+v^2$와 정리 2.8의 $E\,a(Z)^2\le EX^2$에서 나온다.

(b) 전분산 공식(정리 2.6)이다.

(c) $Z=z$이면 $X,Y$가 독립이므로 $\Cov(X,Y\mid Z)=0$이다. $E(X\mid Z)=E(Y\mid Z)=Z$이므로 $\Cov(X,Y)=\Var Z=\tfrac1{12}$이다. 성공률을 모르면 같은 성공률을 공유하는 두 시행은 양의 상관을 갖는다(1회 워크북 C5와 같은 구조).

최종답 (c) $\tfrac1{12}$

C4 서로의 조건부 평균이면 같다 ★★★

정리 2.5 · 2회 따름정리 5.6 · 30분

$EX^2,EY^2<\infty$이고 $E(Y\mid X)=X$, $E(X\mid Y)=Y$이다. $P(X=Y)=1$임을 보여라.

힌트

$E(X-Y)^2=EX^2-2E(XY)+EY^2$이다. $E(XY)$를 두 가지로 계산한다. 한 번은 $X$에 조건을 걸고, 한 번은 $Y$에 조건을 건다.

풀이

1. $E|XY|<\infty$이다.$2|XY|\le X^2+Y^2$ [T4]

2. $E(XY)=E[X\,E(Y\mid X)]=EX^2$이다.정리 2.5의 둘째 식, $g(X)=X$

3. 같은 방법으로 $Y$에 조건을 걸면 $E(XY)=E[Y\,E(X\mid Y)]=EY^2$이다.정리 2.5

4. $E(X-Y)^2=EX^2-2E(XY)+EY^2=EX^2-EX^2-EY^2+EY^2=0$이다.2 3

5. 음이 아닌 $(X-Y)^2$의 기댓값이 0이므로 $P(X=Y)=1$이다.2회 따름정리 5.6

이차적률이 유한하다는 조건은 첫 단계와 넷째 단계에서 쓰인다. $E(XY)$와 $EX^2$이 유한해야 넷째 단계의 뺄셈이 뜻을 갖는다.

C5 같은 방향의 두 함수는 양의 상관 ★★

정리 3.4, 4.2 · 20분

$g,h$가 증가함수이고 $E\,g(X)^2,\ E\,h(X)^2<\infty$이다. $X'$을 $X$와 독립이고 분포가 같은 확률변수라 하자.

1. (a)

   모든 값에서 $\bigl(g(X)-g(X')\bigr)\bigl(h(X)-h(X')\bigr)\ge0$임을 보여라.

2. (b)

   그 기댓값이 $2\Cov\bigl(g(X),h(X)\bigr)$임을 보이고 $\Cov(g(X),h(X))\ge0$을 결론지어라.

3. (c)

   $U\sim\mathrm U(0,1)$이고 $g$가 증가함수이면 $\Cov\bigl(g(U),\allowbreak g(1-U)\bigr)\le0$임을 보여라. 노트 연습 6.6에서 받아들인 사실이다.

힌트

(a) $X\ge X'$이면 두 인수가 모두 0 이상이고, $X<X'$이면 모두 0 이하다. (b) 전개하면 네 항이고, 독립인 두 항은 곱으로 갈라진다(정리 3.4(b)). (c) $h(u)=-g(1-u)$는 증가함수다.

풀이

(a) 증가함수이므로 $X\ge X'$이면 $g(X)-g(X')\ge0$, $h(X)-h(X')\ge0$이고, $X<X'$이면 둘 다 0 이하다. 곱은 언제나 0 이상이다.

(b) 전개하면 $E[g(X)h(X)]+E[g(X')h(X')]-E[g(X)h(X')]-E[g(X')h(X)]$이다. 앞의 두 항은 같은 분포이므로 같고, 뒤의 두 항은 독립이므로 정리 3.4(b)로 $E g(X)\,E h(X)$이다. 따라서 기댓값은 $2\bigl(E[g(X)h(X)]-Eg(X)Eh(X)\bigr)=2\Cov(g(X),\allowbreak h(X))$이고, (a)로 0 이상이다. 각 항의 기댓값이 존재하는 것은 $2|ab|\le a^2+b^2$에서 나온다.

(c) $h(u)=-g(1-u)$는 증가함수이므로 (b)로 $\Cov(g(U),-g(1-U))\ge0$, 곧 $\Cov(g(U),g(1-U))\le0$이다. 이 부등식을 Chebyshev의 합 부등식의 확률판이라 한다. 독립인 복사본 $X'$을 하나 더 만드는 것이 증명의 수단이다.

C6 양수일 확률의 하한 ★★

[T4] · 정리 4.4 · 15분

$X\ge0$이고 $0<EX^2<\infty$이다.

1. (a)

   $P(X>0)\ge\dfrac{(EX)^2}{EX^2}$임을 보여라.

2. (b)

   등호는 언제 성립하는가?

3. (c)

   $X\sim\mathrm b(10,\,0.1)$에서 (a)의 하한을 구하고 정확한 값 $1-0.9^{10}$과 비교하라.

힌트

$X=X\cdot\mathbf 1\{X>0\}$에 Cauchy–Schwarz를 쓴다. $E\,\mathbf 1\{X>0\}^2=P(X>0)$.

풀이

(a) $X\ge0$이므로 $X=X\,\mathbf 1\{X>0\}$이다. 정리 4.4로 $(EX)^2=\bigl(E[X\,\mathbf 1\{X>0\}]\bigr)^2\le EX^2\cdot E\,\mathbf 1\{X>0\}^2=EX^2\,P(X>0)$이다.

(b) 정리 4.4의 등호 조건으로 $\mathbf 1\{X>0\}=cX$가 확률 1로 성립해야 한다. 곧 $X$가 0이 아닌 값을 가질 때 그 값이 하나의 상수 $1/c$뿐이다. $X$가 $\{0,a\}$ 위의 분포일 때 등호다.

(c) $EX=1$, $EX^2=\Var X+(EX)^2=0.9+1=1.9$이므로 하한은 $\tfrac1{1.9}=\tfrac{10}{19}\approx0.526$이고, 정확한 값은 $1-0.9^{10}\approx0.651$이다. Chebyshev 부등식은 꼬리의 위쪽 한계를 주고, 이 부등식은 0이 아닐 확률의 아래쪽 한계를 준다.

최종답 (c) $\tfrac{10}{19}\approx0.526$

C7 정규분포의 회전 ★★

[T7] · 정리 3.2, 5.1, 따름정리 5.9 · 20분

$X,Y\iid\N(0,1)$이다.

1. (a)

   $U=(X+Y)/\sqrt2$, $V=(X-Y)/\sqrt2$의 결합밀도를 구해 $U,V$가 독립인 $\N(0,1)$임을 보여라.

2. (b)

   일반적으로 각 $\theta$만큼의 회전 $(U,\allowbreak V)=(X\cos\theta-Y\sin\theta,\allowbreak \ X\sin\theta+Y\cos\theta)$에 대해서도 같은 결론이 나옴을 보여라.

3. (c)

   $X,Y\iid\mathrm U(0,1)$이면 $X+Y$와 $X-Y$는 상관이 없지만 독립이 아님을 보여라.

힌트

회전행렬 $A$는 $A\T A=I$이고 $|\det A|=1$이다. 따름정리 5.9로 $f_{U,V}(\mathbf u)=f_{X,Y}(A\T\mathbf u)$이고, $\|A\T\mathbf u\|=\|\mathbf u\|$이다. (c)는 A8의 영역을 쓴다.

풀이

(a)(b) $(U,V)\T=A(X,Y)\T$이고 $A$는 회전행렬이므로 $A^{-1}=A\T$, $|\det A|=1$이다. 따름정리 5.9로 $f_{U,V}(\mathbf u)=f_{X,Y}(A\T\mathbf u)=\tfrac1{2\pi}e^{-\|A\T\mathbf u\|^2/2}=\tfrac1{2\pi}e^{-(u^2+v^2)/2}$이다. 회전은 길이를 바꾸지 않기 때문이다. 이것은 $\phi(u)\phi(v)$이므로 정리 3.2로 $U,V$는 독립인 $\N(0,1)$이다. (a)의 $(U,V)$는 $\theta=\tfrac\pi4$의 회전에서 두 좌표의 순서를 바꾼 것이다.

(c) 분산이 같으므로 $\Cov(X+Y,X-Y)=\Var X-\Var Y=0$이다. A8에서 $(X+Y,X-Y)$의 영역은 기울어진 정사각형이고 곱의 꼴이 아니다. 예를 들어 $X+Y<0.2$이면 $|X-Y|<0.2$여야 하므로 $P(X+Y<0.2,\ X-Y>0.5)=0$이지만 두 사건의 확률은 각각 양수다. 결합밀도가 원점 중심으로 회전에 불변인 것이 정규분포의 특별한 성질이다.

C8 지수분포의 합과 비율 ★★

[T7] · 정리 3.2, 5.1 · 20분

$X,Y\iid\mathrm{Exp}(\lambda)$이고 $S=X+Y$, $B=X/(X+Y)$이다.

1. (a)

   역변환과 그 야코비안 행렬식을 구하라.

2. (b)

   $(S,B)$의 결합밀도를 구하고, $S$와 $B$가 독립이며 $B\sim\mathrm U(0,1)$임을 보여라.

3. (c)

   $P(X>2Y)$를 (b)로 구하라.

힌트

$x=bs$, $y=(1-b)s$이다. 야코비안 행렬식의 절댓값은 $s$이다. 영역은 $s>0$, $0<b<1$의 곱의 꼴이다.

풀이

(a) $T(x,y)=(x+y,\ x/(x+y))$는 $(0,\infty)^2$에서 $(0,\infty)\times(0,1)$로 가는 일대일 변환이고 역변환은 $x=bs$, $y=(1-b)s$이다. $\det\smat{b&s\\1-b&-s}=-bs-(1-b)s=-s$.

(b) 정리 5.1로 $f_{S,B}(s,\allowbreak b)=\lambda e^{-\lambda bs}\,\lambda e^{-\lambda(1-b)s}\cdot s=\lambda^2se^{-\lambda s}\cdot\mathbf 1\{0<b<1\}$이다. 영역이 곱의 꼴이고 밀도가 $s$의 함수와 $b$의 함수의 곱이므로 정리 3.2로 독립이고, $B\sim\mathrm U(0,1)$, $S$의 밀도는 $\lambda^2se^{-\lambda s}$(노트 예제 5.7)이다.

(c) $\{X>2Y\}=\{B>\tfrac23\}$이므로 $\tfrac13$이다. $\lambda$에 의존하지 않는다. 두 대기시간의 합이 주어지면 그 합이 둘로 나뉘는 비율은 균등하다.

최종답 (c) $\tfrac13$

C9 가장 좋은 예측은 하나뿐이다 ★

정리 2.5, 2.8 · 15분

$EY^2<\infty$이고 $m(X)=E(Y\mid X)$이다.

1. (a)

   $E\,g(X)^2<\infty$인 모든 $g$에서 $E\bigl[(Y-m(X))\,g(X)\bigr]=0$임을 보여라.

2. (b)

   거꾸로 어떤 함수 $\tilde m$이 $E\,\tilde m(X)^2<\infty$이고 모든 그런 $g$에서 $E\bigl[(Y-\tilde m(X))\,g(X)\bigr]=0$이면 $P\bigl(\tilde m(X)=m(X)\bigr)=1$임을 보여라.

3. (c)

   정리 2.8의 부등식에서 등호가 성립하는 $g$는 무엇인가?

힌트

(b) $g=\tilde m-m$을 (a)와 가정에 넣고 두 식을 뺀다.

풀이

(a) 정리 2.5의 둘째 식으로 $E[g(X)Y]=E[g(X)m(X)]$이다. 기댓값의 존재는 $2|ab|\le a^2+b^2$와 정리 2.8의 $E\,m(X)^2\le EY^2$에서 나온다.

(b) $g=\tilde m-m$은 $E\,g^2<\infty$이다. 가정에서 $E[(Y-\tilde m)g]=0$, (a)에서 $E[(Y-m)g]=0$이므로 빼면 $E[(m-\tilde m)g]=-E(\tilde m-m)^2=0$이다. 2회 따름정리 5.6으로 $P(\tilde m(X)=m(X))=1$이다.

(c) 정리 2.8의 분해에서 $E(m(X)-g(X))^2=0$일 때, 곧 확률 1로 $g(X)=m(X)$일 때뿐이다. (a)의 성질을 “잔차 $Y-m(X)$는 $X$의 모든 함수와 직교한다”로 읽으면, (b)는 그 성질이 $m$을 하나로 정한다는 말이다.

워크북 PDF풀이판 PDF답 확인