3회 · 왜 평균을 내는가 · 노트

3 독립

두 확률변수가 독립이라는 것은 한쪽의 값을 알아도 다른 쪽의 분포가 바뀌지 않는다는 것이다. 2회는 이산 확률변수에서 이것을 정의했다. 이 절은 연속 확률변수를 포함한 일반적인 정의를 세우고, 독립을 판정하는 간단한 기준(인수분해)을 증명한 뒤, 2회에 남긴 꼬리표 둘을 뗀다.

3.1 정의와 판정

정의 3.1 (독립인 확률변수) 확률변수 $X_1,\dots,X_n$이 모든 실수 $x_1,\dots,x_n$에 대해

$$F_{X_1,\dots,X_n}(x_1,\dots,x_n)=F_{X_1}(x_1)\cdots F_{X_n}(x_n)$$

을 만족하면 독립이라 한다. 무한히 많은 확률변수는 그 가운데 어떤 유한 개도 독립이면 독립이라 한다. 독립이고 분포가 모두 같으면 iid(independent and identically distributed)라 하고 $X_i\iid F$로 쓴다.

이산 확률변수에서는 이 정의가 2회 정의 2.6($p(x_1,\dots,x_n)=\prod p(x_i)$)과 같다(연습 3.1). 연속에서는 밀도로 판정하는 것이 편하다.

정리 3.2 (인수분해 판정법) $(X,Y)$가 결합밀도 $f$를 가질 때 다음은 동치다.

1. (a)

   $X$와 $Y$는 독립이다.

2. (b)

   (거의) 모든 $(x,y)$에서 $f(x,y)=f_X(x)\,f_Y(y)$.

3. (c)

   음이 아닌 함수 $g,h$가 있어 $f(x,y)=g(x)\,h(y)$.

증명 전략 (b)$\Rightarrow$(a)는 이중적분을 두 적분의 곱으로 나눈다. (a)$\Rightarrow$(b)는 결합분포함수를 $x$와 $y$로 한 번씩 미분한다. (c)$\Rightarrow$(b)는 $g$와 $h$의 상수배를 주변 밀도로 맞춘다.

(b)$\Rightarrow$(a)

1. $F(x,\allowbreak y)=\int_{-\infty}^y\!\int_{-\infty}^xf_X(s)f_Y(t)\,ds\,dt$이다.정의 1.5, (b)

2. 음이 아닌 곱함수의 적분은 적분의 곱이므로 $F(x,\allowbreak y)=\int_{-\infty}^xf_X\cdot\int_{-\infty}^yf_Y=F_X(x)F_Y(y)$이다.Tonelli [T6]

(a)$\Rightarrow$(b)

1. $F(x,y)=F_X(x)F_Y(y)$를 $x$로, 다시 $y$로 미분하면, $f_X$와 $f_Y$가 연속인 점에서 $\partial^2F/\partial x\,\partial y=f_X(x)f_Y(y)$이다.1회 정리 6.7(d)

2. 정의 1.5의 적분을 두 번 미분하면, $f$가 연속인 점에서 $\partial^2F/\partial x\,\partial y=f(x,\allowbreak y)$이다.미적분의 기본정리 두 번

3. 두 식이 모두 성립하는 점에서 $f(x,y)=f_X(x)f_Y(y)$이다. 밀도는 넓이 0인 집합에서 바꿔도 같은 분포를 주므로 “(거의) 모든 점”으로 충분하다.1 2

(b)$\Rightarrow$(c), (c)$\Rightarrow$(b)

1. (b)이면 $g=f_X$, $h=f_Y$로 두면 된다.

2. (c)이면 $G=\int g$, $H=\int h$로 두고 $1=\iint f=GH$이다.Tonelli [T6]

3. $f_X(x)=\int g(x)h(y)\,dy=g(x)H$이고 $f_Y(y)=G\,h(y)$이다.정리 1.6

4. $f_X(x)f_Y(y)=g(x)h(y)\,GH=f(x,\allowbreak y)$이다.2 3

가정 주의 (c)에는 숨은 조건이 있다. $f$가 0이 아닌 영역도 “곱”의 꼴, 곧 사각형 $\{x\in A\}\times\{y\in B\}$여야 한다. 예제 1.7의 원판에서 $f=\tfrac1\pi$는 안에서 상수이지만 영역이 원이므로 $f(x,\allowbreak y)=\tfrac1\pi\mathbf 1\{x^2+y^2\le1\}$은 $g(x)h(y)$로 쓸 수 없다. 실제로 $X$가 $1$ 가까이 있으면 $Y$는 0 근처에 있어야 하므로 둘은 독립이 아니다.

예제 3.3 (지수분포 두 개와 정사각형) $f(x,y)=e^{-x-y}$ ($x,y>0$)은 $e^{-x}\cdot e^{-y}$이고 영역이 사분면(곱의 꼴)이므로 $X,Y$는 독립인 $\mathrm{Exp}(1)$이다. 정사각형 $[0,1]^2$ 위의 균등분포는 $1=\mathbf 1\{0<x<1\}\cdot\mathbf 1\{0<y<1\}$이므로 독립인 두 $\mathrm U(0,1)$이다. 컴퓨터가 균등 난수 두 개를 따로 뽑는 것은 정사각형에서 점 하나를 뽑는 것과 같다.

3.2 독립인 변수의 함수, 곱, 합

정리 3.4 (독립의 결과들) $X,Y$가 독립이면

1. (a)

   함수 $g(X)$와 $h(Y)$도 독립이다.

2. (b)

   $E|g(X)|,E|h(Y)|<\infty$이면 $E\bigl[g(X)h(Y)\bigr]=E\,g(X)\cdot E\,h(Y)$.

3. (c)

   분산이 유한하면 $\Var(X+Y)=\Var X+\Var Y$.

4. (d)

   mgf가 있으면 $M_{X+Y}(t)=M_X(t)\,M_Y(t)$.

여러 개의 독립인 변수에 대해서도 같다.

증명 전략 (b)를 먼저 증명한다. 결합밀도를 인수분해(정리 3.2)하면 이중적분이 두 적분의 곱이 된다. 절댓값으로 먼저 계산해 적분 순서를 바꿀 수 있음을 확인한다 [T6]. (c)와 (d)는 (b)를 알맞은 함수에 쓴 것이다. (a)는 단조함수이면 정의에서 나오고, 일반적인 함수는 아래 상자의 사실이다. 단계별 증명은 연습 3.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

증명 없이 쓰는 사실 (독립인 변수의 함수는 독립이다) $X_1,\dots,X_n$이 독립이면, 서로 겹치지 않는 묶음의 (“보통의”) 함수들 $g(X_1,X_2)$, $h(X_3)$, $\dots$도 독립이다. 증명은 독립을 사각형에서 Borel 집합 전체로 넓히는 측도론의 $\pi$–$\lambda$ 정리를 쓴다(Billingsley, Probability and Measure, 20절). 이 과정에서는 이 사실을 자유롭게 쓴다.

이로써 2회의 꼬리표가 모두 떨어졌다. 독립합의 분산(2회 정리 2.8)과 대수의 법칙(2회 정리 6.3)은 연속 확률변수에서도 그대로 성립하고, 독립합의 mgf가 곱이라는 것(2회 정리 3.6(b))도 그렇다. 4회의 분포들, 5회의 정규분포, 7회의 중심극한정리가 이 결과를 쓴다.

예제 3.5 (iid의 최댓값과 최솟값) $X_1,\dots,X_n\iid F$, $M_n=\max X_i$, $L_n=\min X_i$라 하자. $\{M_n\le x\}=\bigcap_i\{X_i\le x\}$이므로 독립으로

$$F_{M_n}(x)=F(x)^n,\qquad P(L_n>x)=\bigl(1-F(x)\bigr)^n .$$

1회 연습 6.6이 예고한 것이 첫 식이다. $\mathrm U(0,1)$이면 $EM_n=\int_0^1(1-x^n)dx=\tfrac n{n+1}$ (꼬리 공식, 2회 정리 1.13)이다. $\mathrm{Exp}(\lambda)$이면 $P(L_n>x)=e^{-n\lambda x}$이므로 $L_n\sim\mathrm{Exp}(n\lambda)$이다. 전구 $n$개 가운데 처음 꺼지는 시간은 평균 $\tfrac1{n\lambda}$이다.

연습문제

연습 3.1 (이산에서 두 정의는 같다 ★★) $X,Y$가 정수값을 가질 때, 정의 3.1(분포함수의 곱)과 $p(x,y)=p_X(x)p_Y(y)$가 동치임을 보여라. (힌트: $p(x,y)$를 $F$의 네 값으로 쓴다. 연습 1.1.)

풀이

정수값이면 $p(x,\allowbreak y)=F(x,\allowbreak y)-F(x-1,\allowbreak y)-F(x,\allowbreak y-1)+F(x-1,\allowbreak y-1)$이다(연습 1.1). $F=F_XF_Y$이면 이것이 $\bigl(F_X(x)-F_X(x-1)\bigr)\bigl(F_Y(y)-F_Y(y-1)\bigr)=p_X(x)p_Y(y)$로 인수분해된다. 거꾸로 $p=p_Xp_Y$이면 $F(x,\allowbreak y)=\sum_{s\le x}\sum_{t\le y}p_X(s)p_Y(t)=F_X(x)F_Y(y)$.

연습 3.2 (독립 판정 ★) 다음 결합밀도에서 $X,Y$가 독립인지 판정하라. (a) $f=4xy$ ($0<x,y<1$), (b) $f=8xy$ ($0<x<y<1$), (c) $f=\tfrac1{2\pi}e^{-(x^2+y^2)/2}$ ($\R^2$).

풀이

(a) $4xy=2x\cdot2y$이고 영역이 정사각형이므로 독립. (b) 영역 $0<x<y<1$이 곱의 꼴이 아니므로 독립이 아니다($y$가 작으면 $x$도 작아야 한다). (c) $\tfrac1{\sqrt{2\pi}}e^{-x^2/2}\cdot\tfrac1{\sqrt{2\pi}}e^{-y^2/2}$이고 영역이 평면 전체이므로 독립.

연습 3.3 (최댓값의 기댓값 ★) 독립인 $\mathrm U(0,1)$ 세 개의 최댓값의 밀도와 평균을 구하라. 주사위 두 개의 최댓값의 평균 $\tfrac{161}{36}$은 같은 방법으로 어떻게 나오나?

풀이

$F_M(x)=x^3$, 밀도 $3x^2$, $EM=\tfrac34$. 주사위 두 개: 꼬리 공식으로 $EM=\sum_{k=1}^6P(M\ge k)=\sum_{k=1}^6\bigl(1-(\tfrac{k-1}6)^2\bigr)=6-\tfrac{55}{36}=\tfrac{161}{36}$.

연습 3.4 (경쟁하는 지수분포 ★★) $X\sim\mathrm{Exp}(\lambda)$와 $Y\sim\mathrm{Exp}(\mu)$가 독립이다. $P(X<Y)=\tfrac\lambda{\lambda+\mu}$임을 이중적분으로 보여라. 두 사건 가운데 무엇이 먼저 일어나는가를 결정하는 기본 공식이다.

풀이

$P(X<Y)=\int_0^\infty\lambda e^{-\lambda x}P(Y>x)\,dx=\int_0^\infty\lambda e^{-(\lambda+\mu)x}dx=\tfrac\lambda{\lambda+\mu}$. 첫 등호는 결합밀도 $\lambda e^{-\lambda x}\mu e^{-\mu y}$를 $y>x$에서 먼저 적분한 것이다.

연습 3.5 (쌍별 독립의 한계 ★★) 1회의 Bernstein 정사면체에서 $R,G,B$는 쌍별 독립이다. $E(RGB)\ne ER\,EG\,EB$임을 보이고, 정리 3.4(b)를 세 변수로 넓히려면 상호 독립이 필요한 이유를 말하라.

풀이

$E(RGB)=P(\text{세 색 모두})=\tfrac14$이지만 $ER\,EG\,EB=\tfrac18$이다. 정리 3.4(b)를 셋으로 넓히는 증명은 결합분포가 세 주변분포의 곱으로 인수분해된다는 것을 쓰는데, 쌍별 독립은 두 개씩의 결합분포만 인수분해한다.

연습 3.6 (독립의 결과들 증명 ★★ 유도형) $X,Y$가 독립이고 결합밀도를 갖는다. 정리 3.4를 다음 순서로 증명하라.

1. (a)

   (정리의 (b)) $\iint|g(x)h(y)|\,f_X(x)f_Y(y)\,dx\,dy=E|g(X)|\,E|h(Y)|$를 Tonelli로 보이고, 같은 계산을 부호를 붙여 다시 해 $E[g(X)h(Y)]=E\,g(X)\,E\,h(Y)$를 얻어라. 두 번째 계산에서 순서를 바꾸는 근거는 무엇인가?

2. (b)

   (정리의 (c)) $D_X=X-EX$, $D_Y=Y-EY$로 두고 $\Var(X+Y)=\Var X+\Var Y+2E(D_XD_Y)$를 보인 뒤 (a)로 교차항이 0임을 보여라.

3. (c)

   (정리의 (d)) (a)를 $g(x)=e^{tx}$, $h(y)=e^{ty}$에 써라. $E\,e^{tX}<\infty$가 왜 필요한가?

4. (d)

   (정리의 (a)의 특수한 경우) $g$가 증가함수이면 $\{g(X)\le s\}$가 $\emptyset$, $\Omega$, $\{X\le c\}$, $\{X<c\}$ 가운데 하나임을 보여라. 이때 $g(X)$와 $Y$의 결합분포함수가 인수분해됨을 정의 3.1와 1회 정리 4.7로 보여라.

풀이

(a) 정리 3.2로 $f(x,y)=f_X(x)f_Y(y)$이다. $|g(x)h(y)|f_X(x)f_Y(y)\ge0$이므로 Tonelli로

$$\iint|g(x)h(y)|\,f_X(x)f_Y(y)\,dx\,dy=\int|g|f_X\cdot\int|h|f_Y=E|g(X)|\,E|h(Y)|<\infty .$$

따라서 정리 1.8(b)를 쓸 수 있고, 절대적분이 유한하므로 Fubini 정리로 부호가 있는 함수에도 같은 순서 바꾸기가 허락된다. $E[g(X)h(Y)]=\int g\,f_X\cdot\int h\,f_Y=E\,g(X)\,E\,h(Y)$이다. (b) $X+Y-E(X+Y)=D_X+D_Y$를 제곱해 선형성을 쓰면 $\Var(X+Y)=\Var X+\Var Y+2E(D_XD_Y)$이다. $D_X$는 $X$의 함수, $D_Y$는 $Y$의 함수이고 $E|D_X|\le\sqrt{\Var X}<\infty$이므로 (a)로 $E(D_XD_Y)=ED_X\,ED_Y=0$이다. (c) $g(x)=e^{tx}$, $h(y)=e^{ty}$이면 $e^{t(X+Y)}=g(X)h(Y)$이고 (a)로 $M_{X+Y}(t)=M_X(t)M_Y(t)$이다. (a)는 $E|g(X)|<\infty$를 요구하므로 $M_X(t)$와 $M_Y(t)$가 유한한 $t$에서만 성립한다. (d) $g$가 증가하면 $A_s=\{x:g(x)\le s\}$는 $x\in A_s$, $x'<x$이면 $x'\in A_s$인 집합이다. 따라서 $c=\sup A_s$로 두면 $A_s$는 $\emptyset$, $\R$, $(-\infty,c]$, $(-\infty,c)$ 가운데 하나다. $\{g(X)\le s\}=\{X\le c\}$이면 정의 3.1로 $P(g(X)\le s,\allowbreak \,Y\le y)=F_X(c)F_Y(y)$이다. $\{X<c\}$이면 $\{X\le c-\tfrac1n,\allowbreak \,Y\le y\}\uparrow\{X<c,\allowbreak \,Y\le y\}$이므로 1회 정리 4.7로 $P(X<c,\allowbreak \,Y\le y)=\lim_nF_X(c-\tfrac1n)F_Y(y)=P(X<c)F_Y(y)$이다. 어느 경우든 $g(X)$와 $Y$의 결합분포함수는 주변분포함수의 곱이다.

이 절을 PDF로 보기 (15쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례