3회 · 왜 평균을 내는가 · 노트

1 결합분포 — 두 확률변수를 함께

한 실험에서 두 개 이상의 수를 잰다. 주사위 두 개의 합과 최댓값, 관측 오차와 관측 시각, 키와 몸무게. 각각의 분포만으로는 두 수가 함께 어떻게 움직이는지 알 수 없다. 이 절은 두 확률변수의 결합분포를 정의하고, 거기서 각자의 분포(주변분포)를 되찾는 방법과 함수의 기댓값을 구하는 방법을 세운다.

1.1 결합분포함수

정의 1.1 (확률벡터와 결합분포함수) 같은 확률공간 위의 두 확률변수 $X,Y$의 쌍 $(X,Y)$를 확률벡터라 하고,

$$F_{X,Y}(x,y)=P(X\le x,\ Y\le y),\qquad (x,y)\in\R^2$$

를 결합분포함수라 한다. 사건 $\{X\le x,\,Y\le y\}$는 $\{X\le x\}\cap\{Y\le y\}$이다.

결합분포함수에서 사각형의 확률이 나온다. 포함배제(1회 정리 4.5)를 두 사건에 쓰면

$$P(a<X\le b,\ c<Y\le d)=F(b,d)-F(a,d)-F(b,c)+F(a,c)$$

이다(연습 1.1). 그리고 $y\to\infty$로 보내면 $\{X\le x,\allowbreak \,Y\le y\}\uparrow\{X\le x\}$이므로 연속성(1회 정리 4.7)으로 $F_{X,Y}(x,y)\to F_X(x)$이다. 한 변수의 분포는 결합분포에 들어 있다.

1.2 이산 결합분포

정의 1.2 (결합 확률질량함수) $X$와 $Y$가 모두 이산이면 $p_{X,Y}(x,y)=P(X=x,\ Y=y)$를 결합 확률질량함수라 한다. 모든 $B\subset\R^2$에 대해 $P\bigl((X,\allowbreak Y)\in B\bigr)=\sum_{(x,y)\in B}p_{X,Y}(x,\allowbreak y)$이다.

정리 1.3 (주변 확률질량함수) $p_X(x)=\sum_yp_{X,Y}(x,y)$, $p_Y(y)=\sum_xp_{X,Y}(x,y)$.

증명 $\{X=x\}$는 서로소인 사건 $\{X=x,\,Y=y\}$, $y$는 $Y$의 값들의 합집합이다. (P3)을 쓴다.

이름은 표의 가장자리(margin)에서 왔다. 결합 확률을 표로 쓰면 행의 합과 열의 합이 표의 가장자리에 적힌다.

예제 1.4 (두 주사위의 합과 최댓값) 공평한 주사위 두 개를 던져 합 $S$와 최댓값 $M$을 본다. 36가지 결과가 같은 확률이므로 $p_{S,M}(s,m)$은 $\{S=s,\,M=m\}$인 결과의 수를 36으로 나눈 것이다. 예를 들어 $M=m$이면서 $S=s$인 결과는 “하나가 $m$, 다른 하나가 $s-m$”이고 $s-m\le m$이어야 한다. $s-m<m$이면 순서 두 가지, $s-m=m$이면 한 가지이므로

$$p_{S,M}(s,m)=\begin{cases}\tfrac2{36}, & 1\le s-m<m,\\[2pt] \tfrac1{36}, & s=2m,\\[2pt] 0, & \text{그 밖}.\end{cases}$$

열마다 더하면 $p_M(m)=\tfrac{2m-1}{36}$이다. $M\le m$일 확률이 $(\tfrac m6)^2$이므로 $p_M(m)=\tfrac{m^2-(m-1)^2}{36}$이어서 같다. 그림 1.1에서 두 변수는 함께 움직인다. 최댓값이 크면 합도 크다. 4절에서 이 “함께 움직임”을 공분산으로 잰다.

그림 1.1 두 주사위의 합 $S$와 최댓값 $M$의 결합 확률질량함수(색의 짙기)와 두 주변분포(가장자리 막대). 빨간 점은 $M=m$일 때 $S$의 조건부 평균이다(2절).

1.3 연속 결합분포

정의 1.5 (결합 확률밀도함수) 음이 아니고 적분 가능한 함수 $f(x,y)$가 있어 모든 $(x,y)$에서

$$F_{X,Y}(x,y)=\int_{-\infty}^{y}\!\int_{-\infty}^{x}f(s,t)\,ds\,dt$$

이면 $(X,Y)$를 연속이라 하고 $f=f_{X,Y}$를 결합 확률밀도함수라 한다. 이때 평면의 “보통의” 집합 $B$에 대해 $P\bigl((X,\allowbreak Y)\in B\bigr)=\iint_Bf(x,\allowbreak y)\,dx\,dy$이다.

마지막 문장은 사각형에서 출발해 1회 6.2절의 상자와 같은 확장으로 얻는다. 작은 사각형으로 읽으면 $P(x<X\le x+dx,\allowbreak \ y<Y\le y+dy)\approx f(x,\allowbreak y)\,dx\,dy$이다. 결합밀도는 평면 위의 확률의 “농도”다.

정리 1.6 (주변 밀도) $(X,Y)$가 결합밀도 $f$를 가지면 $X$와 $Y$는 각각 밀도

$$f_X(x)=\int_{-\infty}^{\infty}f(x,y)\,dy,\qquad f_Y(y)=\int_{-\infty}^{\infty}f(x,y)\,dx$$

를 갖는다.

증명 전략 $F_X(x)$를 반평면 $\{s\le x\}$ 위의 이중적분으로 쓰고, 적분 순서를 바꿔 $\int_{-\infty}^x(\cdots)\,ds$의 꼴로 만든다. 음이 아닌 함수이므로 순서를 바꿀 수 있다 [T6]. 단계별 증명은 연습 1.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 1.7 (원판 위의 균등분포) 단위 원판 $D=\{x^2+y^2\le1\}$ 위에 고르게 퍼진 점 $(X,Y)$의 결합밀도는 $f(x,y)=\tfrac1\pi$ ($(x,y)\in D$)이다. 넓이가 $\pi$이기 때문이다. 1회 예제 6.8의 방법 (3)에서 현의 중점이 이렇게 퍼져 있었다. 주변 밀도는 $x$를 고정하고 $y$가 $-\sqrt{1-x^2}$에서 $\sqrt{1-x^2}$까지 움직이는 길이를 재면 된다.

$$f_X(x)=\int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}\frac1\pi\,dy=\frac2\pi\sqrt{1-x^2},\qquad -1\le x\le1 .$$

결합분포는 균등한데 주변분포는 균등하지 않다. 가운데로 갈수록 세로 방향의 길이가 길기 때문이다(그림 1.2). 이 반원 모양의 밀도는 Wigner(1955)가 큰 무작위 행렬의 고윳값 분포로 다시 찾아낸 “반원 법칙”의 모양이다.

그림 1.2 원판 위의 균등한 점 3,000개와 $X$의 주변 밀도 $\tfrac2\pi\sqrt{1-x^2}$(점선). 균등한 결합분포의 주변분포는 균등하지 않다.

1.4 함수의 기댓값과 선형성

정리 1.8 (두 변수 함수의 기댓값) 

1. (a)

   이산이면, $\sum_{x,y}|g(x,\allowbreak y)|\,p(x,\allowbreak y)<\infty$일 때 $E\,g(X,\allowbreak Y)=\sum_{x,y}g(x,\allowbreak y)\,p(x,\allowbreak y)$.

2. (b)

   연속이면, $\iint|g|\,f<\infty$일 때 $E\,g(X,\allowbreak Y)=\iint g(x,\allowbreak y)\,f(x,\allowbreak y)\,dx\,dy$.

증명 (a)는 $(X,Y)$의 값들을 하나의 셀 수 있는 집합으로 보고 2회 정리 1.9(a)의 증명을 그대로 쓴다. (b)는 2회 1.4절의 상자(연속형 함수의 기댓값)를 평면에서 쓴 것이다. 거기서처럼 이 과정에서는 (b)를 계산 규칙으로 받아들인다.

따름정리 1.9 (선형성 — 일반적인 경우) $E|X|,E|Y|<\infty$이면 $E(aX+bY)=a\,EX+b\,EY$이다. 독립은 필요 없다.

증명 전략 정리 1.8(b)로 $E(aX+bY)$를 이중적분으로 쓰고, 두 항을 각각 주변 밀도의 적분으로 줄인다. 적분 순서를 바꾸기 전에 절댓값의 적분이 유한함을 확인한다 [T6]. 단계별 증명은 연습 1.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

이로써 2회 정리 1.11의 꼬리표가 떨어졌다. 2회 6절의 Monte Carlo 적분과 대수의 법칙에서 미리 쓴 “연속 확률변수의 선형성”이 이것이다.

연습문제

연습 1.1 (사각형의 확률 ★) $P(a<X\le b,\allowbreak \ c<Y\le d)=F(b,\allowbreak d)-F(a,\allowbreak d)-F(b,\allowbreak c)+F(a,\allowbreak c)$임을 보여라. 이 값이 언제나 0 이상이라는 것이 결합분포함수의 넷째 성질이다.

풀이

$A=\{X\le b,\,Y\le d\}$에서 $\{X\le a\}$나 $\{Y\le c\}$인 부분을 뺀 것이 사각형 사건이다. $B=\{X\le a,\,Y\le d\}$, $C=\{X\le b,\,Y\le c\}$는 $A$의 부분집합이고 $B\cap C=\{X\le a,\,Y\le c\}$이므로 포함배제로 $P(B\cup C)=F(a,\allowbreak d)+F(b,\allowbreak c)-F(a,\allowbreak c)$. 따라서 $P(A\setminus(B\cup C))=F(b,\allowbreak d)-F(a,\allowbreak d)-F(b,\allowbreak c)+F(a,\allowbreak c)$.

연습 1.2 (삼각형 위의 밀도 ★) $f(x,y)=c$ ($0<x<y<1$)가 결합밀도가 되는 $c$를 구하고, 두 주변 밀도와 $P(X+Y<1)$을 구하라.

풀이

영역의 넓이가 $\tfrac12$이므로 $c=2$. $f_X(x)=\int_x^12\,dy=2(1-x)$, $f_Y(y)=\int_0^y2\,dx=2y$. $\{X+Y<1\}$과 영역의 교집합은 $0<x<\tfrac12$, $x<y<1-x$이고 넓이가 $\int_0^{1/2}(1-2x)dx=\tfrac14$이므로 확률은 $2\cdot\tfrac14=\tfrac12$.

연습 1.3 (최댓값과 최솟값 ★) 예제 1.4에서 최솟값 $L$의 확률질량함수를 구하고, $EM+EL=7$임을 선형성 없이, 그리고 선형성으로 확인하라.

풀이

$L=l$인 결과는 “하나가 $l$, 다른 하나가 $l$보다 큼”(순서 2가지씩 $6-l$개)과 $(l,l)$이므로 $p_L(l)=\tfrac{2(6-l)+1}{36}=\tfrac{13-2l}{36}$. $EL=\tfrac{13\cdot21-2\cdot91}{36}=\tfrac{91}{36}$이고 $EM=\tfrac{161}{36}$이므로 합은 $\tfrac{252}{36}=7$. 선형성으로는 $M+L=D_1+D_2$이므로 바로 $7$이다.

연습 1.4 (원판의 거리 ★★) 예제 1.7의 점에서 원점까지의 거리 $R=\sqrt{X^2+Y^2}$의 분포함수가 $r^2$ ($0\le r\le1$)임을 보이고, $ER$과 $E|X|$를 구하라.

풀이

$P(R\le r)$는 반지름 $r$인 원의 넓이를 $\pi$로 나눈 $r^2$이다. 밀도 $2r$이므로 $ER=\int_0^12r^2dr=\tfrac23$. $E|X|=\tfrac4\pi\int_0^1x\sqrt{1-x^2}\,dx=\tfrac4\pi\cdot\tfrac13=\tfrac4{3\pi}\approx0.424$.

연습 1.5 (결합분포는 주변분포보다 많은 것을 담는다 ★) 주변분포가 모두 $\mathrm{Bernoulli}(\tfrac12)$이지만 결합분포가 다른 $(X,Y)$를 두 가지 만들어라. 하나는 $P(X=Y)=1$, 다른 하나는 $P(X=Y)=0$이 되게.

풀이

$X\sim\mathrm{Bernoulli}(\tfrac12)$로 (i) $Y=X$, (ii) $Y=1-X$로 두면 두 경우 모두 $Y\sim\mathrm{Bernoulli}(\tfrac12)$이지만 결합분포는 (i) $p(0,0)=p(1,1)=\tfrac12$, (ii) $p(0,1)=p(1,0)=\tfrac12$이다. 독립인 경우(네 칸 모두 $\tfrac14$)까지 세 가지가 같은 주변분포를 갖는다.

연습 1.6 (주변 밀도 증명 ★★ 유도형) 정리 1.6를 다음 순서로 증명하라.

1. (a)

   정의 1.5의 마지막 문장을 반평면 $B=\{(s,t):s\le x\}$에 써서 $F_X(x)=\iint_Bf(s,t)\,ds\,dt$임을 보여라.

2. (b)

   적분 순서를 바꿔 $F_X(x)=\int_{-\infty}^x\bigl(\int_{-\infty}^\infty f(s,\allowbreak t)\,dt\bigr)ds$로 써라. 순서를 바꿀 수 있는 근거를 밝혀라.

3. (c)

   $g(s)=\int_{-\infty}^\infty f(s,\allowbreak t)\,dt$가 1회 정의 6.6의 조건을 만족해 $X$의 밀도임을 결론지어라. $f_Y$도 같은 방법으로 얻어라.

4. (d)

   같은 결론을 결합분포함수의 극한 $F_X(x)=\lim_{n\to\infty}F_{X,Y}(x,\allowbreak n)$에서도 얻어라. 이 등식의 근거는 1회의 어느 정리인가?

풀이

(a) $\{X\le x\}=\{(X,Y)\in B\}$이고 $B=\{(s,t):s\le x\}$는 보통의 집합이므로 정의 1.5의 마지막 문장으로 $F_X(x)=\iint_Bf(s,t)\,ds\,dt$이다. (b) $f\ge0$이므로 Tonelli 정리로 반복적분의 순서를 마음대로 바꿀 수 있다(값이 무한대일 수도 있지만 여기서는 1 이하다). $s$를 바깥에 두면 $F_X(x)=\int_{-\infty}^x\bigl(\int_{-\infty}^\infty f(s,\allowbreak t)\,dt\bigr)ds$이다. (c) $g(s)=\int f(s,t)\,dt$는 음이 아니고, (b)로 모든 $x$에서 $F_X(x)=\int_{-\infty}^xg$이다. 이것이 1회 정의 6.6의 조건이므로 $g$는 $X$의 밀도다. $t$를 바깥에 두면 같은 방법으로 $f_Y(y)=\int f(s,y)\,ds$이다. (d) $\{X\le x,\,Y\le n\}$은 $n$에 대해 증가하고 합집합이 $\{X\le x\}$이므로 1회 정리 4.7(a)로 $F_X(x)=\lim_nF_{X,Y}(x,n)$이다. $F_{X,Y}(x,\allowbreak n)=\int_{-\infty}^x\bigl(\int_{-\infty}^nf(s,\allowbreak t)\,dt\bigr)ds$ (Tonelli)이고, 안쪽 적분은 $n$에 대해 증가하며 $g(s)$로 가므로 단조수렴 정리 [T6]로 극한이 $\int_{-\infty}^xg$이다.

연습 1.7 (선형성 증명 ★★ 유도형) 연속인 경우에 따름정리 1.9를 다음 순서로 증명하라.

1. (a)

   $\iint|x|\,f(x,y)\,dx\,dy=E|X|$임을 정리 1.6로 보이고, $\iint|ax+by|\,f<\infty$를 확인해 정리 1.8(b)를 $g(x,y)=ax+by$에 쓸 수 있음을 보여라.

2. (b)

   $\iint x\,f(x,\allowbreak y)\,dx\,dy=\int x\,f_X(x)\,dx$를 보여라. 어느 변수로 먼저 적분하는지, 무엇이 순서를 바꾸게 허락하는지 밝혀라.

3. (c)

   결론을 쓰고, 이산인 경우를 같은 순서로 합에 대해 증명하라.

풀이

(a) $|x|f(x,y)\ge0$이므로 Tonelli로 $y$를 먼저 적분하면 $\iint|x|f=\int|x|\bigl(\int f(x,\allowbreak y)\,dy\bigr)dx=\int|x|f_X(x)\,dx=E|X|$이다(정리 1.6). 같은 방법으로 $\iint|y|f=E|Y|$이다. $|ax+by|\le|a||x|+|b||y|$이므로 $\iint|ax+by|f\le|a|E|X|+|b|E|Y|<\infty$이고, 정리 1.8(b)를 쓸 수 있다. (b) (a)로 $\iint|x|f<\infty$이므로 Fubini 정리로 순서를 바꿔 $y$를 먼저 적분할 수 있고, $\iint xf=\int x\bigl(\int f(x,\allowbreak y)\,dy\bigr)dx=\int xf_X(x)\,dx=EX$이다. (c) 적분의 선형성으로 $E(aX+bY)=a\iint xf+b\iint yf=a\,EX+b\,EY$이다. 이산이면 $\sum_{x,y}|x|p(x,\allowbreak y)=\sum_x|x|p_X(x)=E|X|$(음이 아닌 급수의 재배열, 1회 4.6절의 상자)로 절대수렴을 확인하고, 같은 재배열로 $\sum_{x,y}x\,p(x,y)=EX$를 얻는다.

이 절을 PDF로 보기 (3쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례