2회 · 기댓값·부등식·대수의 법칙 · 노트

1 Huygens의 기대 — 기댓값

1회의 점수 분배 문제에서 Pascal과 Fermat가 구한 것은 사실 확률이 아니라 몫이었다. 판돈 64 가운데 A의 공평한 몫은 56이다. 몫은 “얻을 수 있는 금액”과 “그것을 얻을 확률”을 함께 담은 수다. 이 수를 처음으로 정의하고 계산 규칙을 세운 사람이 Huygens였다. 이 절은 그 정의를 확률변수의 언어로 옮긴다.

1.1 공평한 내기의 값

역사 Christiaan Huygens는 1655년 파리를 방문해 Pascal과 Fermat의 문제를 전해 듣고, 1657년 De ratiociniis in ludo aleae(주사위 놀이의 계산에 대하여)를 냈다. 열네 개의 명제로 된 이 짧은 책이 최초의 확률 교과서이고, 이후 50년 동안 유일한 교과서였다. 책의 출발점은 확률이 아니라 “기대”다. 명제 I은 이렇다. “$a$나 $b$를 같은 정도로 쉽게 얻을 수 있다면, 그 기대는 $\tfrac{a+b}2$의 값어치가 있다.” 라틴어 번역자 van Schooten이 이 값을 expectatio라 불렀다.

Huygens의 논증은 확률을 쓰지 않는다. 공평한 내기만 쓴다. 나와 상대가 각각 $\tfrac{a+b}2$씩 걸고(판돈 $a+b$), 이긴 쪽이 진 쪽에게 $a$를 주기로 하고 공평한 동전을 던진다. 내가 지면 $a$를 받고, 이기면 판돈에서 $a$를 주고 남은 $b$를 갖는다. 그러니 $\tfrac{a+b}2$를 내고 이 내기에 들어가는 것은 “$a$나 $b$를 같은 정도로 얻는 처지”를 사는 것과 같고, 그 처지의 값은 낸 돈 $\tfrac{a+b}2$다. 같은 논증으로 명제 III을 얻는다. $a$를 얻을 경우가 $p$가지, $b$를 얻을 경우가 $q$가지이면 기대는 $\tfrac{pa+qb}{p+q}$다(연습 1.2).

오늘의 말로 하면 “값 × 확률의 합”이다. 기댓값은 이렇게 확률보다 먼저, 공평함이라는 직관에서 나왔다.

1.2 이산 확률변수의 기댓값

그림 1.1 왼쪽: 기댓값은 확률질량의 무게중심이다. 오른쪽: 음이 아닌 확률변수의 기댓값은 $P(X>x)$ 곡선 아래의 넓이다(정리 1.13).

정의 1.1 (이산 확률변수의 기댓값) 이산 확률변수 $X$가 값 $x_1,x_2,\dots$를 확률질량함수 $p$로 가질 때

$$\sum_i|x_i|\,p(x_i)<\infty$$

이면 $X$의 기댓값(평균)을

$$EX=\sum_ix_i\,p(x_i)$$

로 정의한다. 절대수렴하지 않으면 $EX$는 존재하지 않는다고 한다. 다만 $X\ge0$이고 합이 발산하면 $EX=\infty$로 쓴다.

절대수렴 조건 때문에 합의 순서는 상관없다(보조정리 0.1). $EX$를 $\mu$나 $\mu_X$로도 쓴다. 그림 1.1의 왼쪽처럼, 막대 위의 점 $x_i$에 질량 $p(x_i)$를 놓으면 $EX$는 막대가 수평을 이루는 받침점이다. $\sum_i(x_i-EX)\,p(x_i)=EX-EX=0$이기 때문이다.

예제 1.2 (주사위 · 지시변수 · de Méré의 기대 이익) 

주사위. $X$가 공평한 주사위의 눈이면 $EX=\tfrac16(1+2+\cdots+6)=3.5$이다. 기댓값은 $X$가 가질 수 없는 값일 수 있다.

지시변수. 사건 $A$의 지시변수 $\mathbf 1_A$는 $A$가 일어나면 1, 아니면 0인 확률변수다. 값이 0과 1뿐이므로

$$E\,\mathbf 1_A=1\cdot P(A)+0\cdot P(A^c)=P(A) .$$

확률은 지시변수의 기댓값이다. 이 한 줄이 기댓값과 확률을 잇는 다리이고, 5절과 6절의 증명은 모두 이 다리를 건넌다.

de Méré의 내기. 1회 예제 1.9의 내기 1에 1을 걸어 이기면 1을 받고 지면 1을 잃는다고 하자. 이익 $G$는 확률 $\tfrac{671}{1296}$로 $+1$, 나머지 확률로 $-1$이므로 $EG=2\cdot\tfrac{671}{1296}-1\approx0.0355$이다. 판마다 판돈의 3.5%를 기대할 수 있다. 내기 2는 $2\cdot0.4914-1\approx-0.0172$로 불리하다. 두 내기의 차이는 확률로는 0.026이지만 기대 이익으로는 부호가 갈린다.

예제 1.3 (점수 분배는 기댓값이다) 1회 예제 1.11의 상태 $(a,b)=(1,3)$에서 A가 받을 금액 $W$는 내기를 계속하면 확률 $\tfrac78$로 64, $\tfrac18$로 0이다. $EW=64\cdot\tfrac78=56$이 Pascal이 정한 A의 몫이다. Huygens의 말로는 “56의 기대”이고, 오늘의 말로는 “공평한 몫 = 받을 금액의 기댓값”이다.

예제 1.4 (처음 성공할 때까지의 시행 수) 성공 확률이 $p$인 독립 시행을 처음 성공할 때까지 할 때 시행 수를 $X$라 하자. 처음 $k-1$번 실패하고 $k$번째에 성공해야 하므로 1회 정리 5.11로

$$P(X=k)=q^{k-1}p,\qquad k=1,2,\dots,\quad q=1-p .$$

이 분포를 기하분포라 한다. $S=\sum_{k\ge1}kq^{k-1}$은 비판정법으로 수렴하고(항의 비가 $\tfrac{k+1}kq\to q<1$),

$$S-qS=\sum_{k\ge1}kq^{k-1}-\sum_{k\ge1}kq^k=\sum_{k\ge1}q^{k-1}=\frac1{1-q}$$

이므로 $S=1/(1-q)^2=1/p^2$이고 $EX=pS=1/p$이다. 6이 나올 때까지는 평균 6번, 6이 두 개 나올 때까지는 평균 36번 던진다.

1회의 de Méré는 “반 이상의 확률로 성공하는 횟수”(중앙값)를 따졌다. 그 수는 $\log2/p\approx0.693/p$ 근처이고 평균 $1/p$보다 작다. 기하분포는 오른쪽 꼬리가 길어서, 드물게 아주 오래 기다리는 경우가 평균을 끌어올린다. 평균과 중앙값은 다른 질문의 답이다.

1.3 연속 확률변수의 기댓값

정의 1.5 (연속 확률변수의 기댓값) 연속 확률변수 $X$의 밀도가 $f$이고 $\int_{-\infty}^{\infty}|x|\,f(x)\,dx<\infty$이면

$$EX=\int_{-\infty}^{\infty}x\,f(x)\,dx$$

로 정의한다. $X\ge0$이고 적분이 발산하면 $EX=\infty$로 쓴다.

이산의 합을 적분으로 바꾼 것이다. 작은 $h$에 대해 $P(x<X\le x+h)\approx f(x)h$이므로, 실수축을 폭 $h$의 칸으로 나눈 이산 근사의 기댓값 $\sum x\,f(x)h$가 $h\to0$에서 이 적분이 된다.

예제 1.6 (균등분포와 지수분포) 

균등분포. $X\sim\mathrm U(a,b)$, 곧 $f(x)=\tfrac1{b-a}$ ($a<x<b$)이면 $EX=\tfrac1{b-a}\int_a^bx\,dx=\tfrac{a+b}2$. 구간의 가운데다.

지수분포. $\lambda>0$에 대해 밀도 $f(x)=\lambda e^{-\lambda x}$ ($x>0$)를 갖는 분포를 지수분포 $\mathrm{Exp}(\lambda)$라 한다. 분포함수는 $F(x)=1-e^{-\lambda x}$이다. 부분적분으로

$$EX=\int_0^\infty x\lambda e^{-\lambda x}\,dx=\Bigl[-xe^{-\lambda x}\Bigr]_0^\infty+\int_0^\infty e^{-\lambda x}\,dx=0+\frac1\lambda .$$

경계항이 0인 것은 $xe^{-\lambda x}\to0$ ($x\to\infty$)이기 때문이다. 지수분포는 기하분포의 연속판이다. 기다리는 시간의 평균이 “단위시간당 성공률”의 역수다.

예제 1.7 (Bertrand의 세 현, 세 평균) 1회 예제 6.8의 세 방법에서 현의 길이 $L$의 평균을 구한다($r=1$).

(1) $L=2\sin\Psi$, $\Psi\sim\mathrm U(0,\pi)$이므로 (아래 정리 1.9를 미리 쓰면) $EL=\tfrac1\pi\int_0^\pi2\sin\psi\,d\psi=\tfrac4\pi\approx1.273$.

(2) $L=2\sqrt{1-D^2}$, $D\sim\mathrm U(0,1)$이므로 $EL=2\int_0^1\sqrt{1-d^2}\,dd=2\cdot\tfrac\pi4=\tfrac\pi2\approx1.571$. 적분은 사분원의 넓이다.

(3) $f_3(\ell)=\tfrac\ell2$ ($0<\ell<2$)이므로 $EL=\int_0^2\tfrac{\ell^2}2\,d\ell=\tfrac43\approx1.333$.

1회에서 “무작위 현”이 세 개의 서로 다른 분포였으므로 평균도 셋이다. 길이의 평균만 보면 (2)가 가장 긴 현을 만든다.

예제 1.8 (기댓값이 없는 분포 — Cauchy) 밀도 $f(x)=\tfrac1{\pi(1+x^2)}$, $x\in\R$를 갖는 분포를 Cauchy 분포라 한다. $\int f=\tfrac1\pi[\arctan x]_{-\infty}^\infty=1$이므로 밀도이고, 0에 대해 대칭이다. 그런데

$$\int_{-\infty}^{\infty}|x|\,f(x)\,dx=\frac2\pi\int_0^\infty\frac{x}{1+x^2}\,dx=\frac1\pi\Bigl[\log(1+x^2)\Bigr]_0^\infty=\infty$$

이므로 기댓값이 없다. 대칭이니 “평균은 0”이라고 말하고 싶지만, $\int_{-A}^{2A}xf(x)\,dx\to\tfrac1\pi\log2$ ($A\to\infty$)처럼 자르는 방법에 따라 극한이 달라진다. 0이라는 답은 우리가 자르는 방법을 골랐기 때문에 나온 것이다. 7절에서 Cauchy 표본의 평균이 대수의 법칙을 따르지 않는 것을 본다.

1.4 함수의 기댓값과 선형성

$X$의 기댓값을 알면 $X^2$, $e^{tX}$, $(X-\mu)^2$ 같은 $g(X)$의 기댓값이 필요해진다. $Y=g(X)$의 분포를 먼저 구하지 않고 $X$의 분포로 바로 계산할 수 있다.

정리 1.9 (함수의 기댓값) 

1. (a)

   $X$가 이산이고 pmf가 $p$이면, $\sum_i|g(x_i)|\,p(x_i)<\infty$일 때 $Y=g(X)$의 기댓값이 존재하고

   $$E\,g(X)=\sum_ig(x_i)\,p(x_i) .$$
2. (b)

   $X$가 연속이고 밀도가 $f$이면, $\int|g(x)|f(x)\,dx<\infty$일 때

   $$E\,g(X)=\int_{-\infty}^{\infty}g(x)\,f(x)\,dx .$$

증명 전략 (a) $Y=g(X)$의 값 $y_j$마다 그 값으로 가는 $x_i$들을 한 묶음으로 모은다. 먼저 절댓값으로 합이 유한함을 보이고, 그다음 같은 묶음을 절댓값 없이 한다 [T5]. (b)는 $g$가 미분가능한 단조함수인 경우를 4절의 따름정리 4.4에서 증명한다. 일반적인 경우는 아래 상자의 사실이다. 단계별 증명은 연습 1.9(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

증명 없이 쓰는 사실 (연속 확률변수의 함수의 기댓값) $X$가 연속이어도 $Y=g(X)$는 이산일 수도(예: $g(x)=\mathbf 1\{x>0\}$), 혼합형일 수도(예: $g(x)=\max(x,0)$) 있다. 그런 $Y$까지 포함해 “기댓값”을 하나로 정의하려면 측도론의 Lebesgue 적분이 필요하고, 그 이론에서 (b)는 정의를 바꿔 쓴 것에 지나지 않는다. 이 과정에서는 (b)를 함수의 기댓값을 계산하는 규칙으로 쓴다. 증명은 Billingsley, Probability and Measure, 16–17절.

정리 1.10 (기댓값의 선형성과 단조성 I) 기댓값이 존재하는 $g(X)$, $h(X)$와 상수 $a,b$에 대해

1. (a)

   $E[a\,g(X)+b\,h(X)]=a\,E\,g(X)+b\,E\,h(X)$. 특히 $E(aX+b)=a\,EX+b$.

2. (b)

   모든 $x$에서 $g(x)\le h(x)$이면 $E\,g(X)\le E\,h(X)$.

3. (c)

   $|EX|\le E|X|$.

증명 정리 1.9로 기댓값이 $p$나 $f$에 대한 합·적분이 되므로, (a)는 절대수렴하는 합과 적분의 선형성이다($|ag+bh|\le|a||g|+|b||h|$이므로 좌변도 절대수렴한다). (b)는 $p,f\ge0$이므로 합과 적분이 순서를 보존한다는 것이다. (c)는 (b)를 $-|x|\le x\le|x|$에 쓴 것이다.

선형성의 진짜 힘은 서로 다른 확률변수의 합에서 나온다. 같은 실험에서 정의된 $X$와 $Y$가 있으면 $E(X+Y)=EX+EY$인가? 표본공간이 이산이면 바로 보일 수 있다.

정리 1.11 (선형성 II — 이산 확률공간) $(\Omega,P)$가 이산 확률공간(1회 정리 4.9, $p_\omega=P(\{\omega\})$)이고 $X$가 그 위의 확률변수이면, $\sum_\omega|X(\omega)|p_\omega<\infty$일 때

$$EX=\sum_{\omega\in\Omega}X(\omega)\,p_\omega .$$

따라서 기댓값이 존재하는 $X_1,\dots,X_n$과 상수 $c_1,\dots,c_n$에 대해 $E\bigl(\sum_ic_iX_i\bigr)=\sum_ic_i\,EX_i$이다.

증명 $\omega$들을 $X(\omega)$의 값으로 묶는다. 값이 $x$인 $\omega$들의 확률의 합이 $P(X=x)=p(x)$이므로, 정리 1.9(a)의 증명(연습 1.9)과 같은 묶음으로 $\sum_\omega X(\omega)p_\omega=\sum_xx\,p(x)=EX$이다(절댓값으로 먼저 확인하고 보조정리 0.1). 그러면 $\sum_ic_iX_i$의 기댓값은 $\sum_\omega\sum_ic_iX_i(\omega)p_\omega$이고, 유한 합과 절대수렴하는 급수는 순서를 바꿀 수 있으므로 $\sum_ic_i\sum_\omega X_i(\omega)p_\omega=\sum_ic_iEX_i$이다.

연속 확률변수를 포함한 일반적인 경우는 3회에서 결합밀도로 증명한다. 그 전까지는 이 정리를 이산 확률공간에서만 쓴다. 이 정리에는 독립의 가정이 없다. 아래 예제가 그 힘을 보여 준다.

예제 1.12 (선형성의 힘 — Montmort, 생일, 이항) 

Montmort의 짝 맞추기. $n$장의 카드를 섞을 때 일치하는 카드의 수를 $N$이라 하면 $N=\sum_{i=1}^n\mathbf 1_{A_i}$, $A_i=\{i$번째 카드가 맞는다$\}$, $P(A_i)=\tfrac1n$이다. 사건 $A_i$들은 독립이 아니지만 선형성에는 상관없다.

$$EN=\sum_{i=1}^nP(A_i)=n\cdot\frac1n=1 .$$

카드가 몇 장이든 평균 한 장이 맞는다. 1회 예제 4.6처럼 포함배제로 $N$의 분포를 구할 필요가 없다.

생일. $n$명 가운데 생일이 같은 쌍의 수는 $\tbinom n2$개 쌍의 지시변수의 합이고, 쌍마다 확률은 $\tfrac1{365}$이므로 기댓값은 $\tbinom n2/365$이다. $n=23$이면 $253/365\approx0.69$다. 같은 생일의 쌍이 평균 한 개 이상이 되려면 $n(n-1)\ge730$, 곧 $n\ge28$이다.

이항. $n$번의 독립 시행에서 성공 수 $K=\sum_i\mathbf 1_{\{i\text{번째 성공}\}}$이므로 $EK=np$. 이항분포의 pmf를 쓰지 않고 얻었다.

1.5 꼬리 공식

정리 1.13 (꼬리 공식) (a) $X$가 음이 아닌 정수값을 가지면, (b) $X\ge0$이 연속이면 각각

$$\text{(a)}\ \ EX=\sum_{k=1}^\infty P(X\ge k),\qquad\quad \text{(b)}\ \ EX=\int_0^\infty P(X>x)\,dx=\int_0^\infty\bigl(1-F(x)\bigr)\,dx .$$

둘 다 양변이 $\infty$일 수 있다.

증명 전략 값 $j$를 $\sum_{k=1}^j1$로 펼쳐 $EX$를 이중합(이중적분)으로 만든다. 음이 아닌 항의 이중합은 더하는 순서를 바꿀 수 있다 [T6].

(a)

1. $P(X\ge k)=\sum_{j\ge k}p(j)$이다.$\{X\ge k\}=\bigcup_{j\ge k}\{X=j\}$, (P3)

2. 따라서 $\sum_{k\ge1}P(X\ge k)=\sum_{k\ge1}\sum_{j\ge k}p(j)$이고, 항 $p(j)$는 $1\le k\le j$인 $k$마다 한 번씩, 모두 $j$번 나온다.셈

3. 음이 아닌 항의 이중합이므로 $j$를 먼저 고정해 더해도 된다.

   $$\sum_{k=1}^\infty\sum_{j=k}^\infty p(j)=\sum_{j=1}^\infty\Bigl(\sum_{k=1}^{j}1\Bigr)p(j)=\sum_{j=1}^\infty j\,p(j)=EX .$$

   1회 4.6절의 상자

(b)

1. $P(X>x)=\int_x^\infty f(t)\,dt$이다.1회 정리 6.7(c)

2. 영역 $\{(x,t):0\le x<t\}$ 위에서 음이 아닌 함수 $f(t)$를 두 순서로 적분한다.

   $$\begin{align*} \int_0^\infty P(X>x)\,dx&=\int_0^\infty\int_x^\infty f(t)\,dt\,dx\\ &=\int_0^\infty\Bigl(\int_0^tdx\Bigr)f(t)\,dt \tag*{\htmlClass{reason}{\text{Tonelli, 아래 상자 \htmlClass{tool}{\href{/read/00/6}{\text{[T6]}}}}}}\\ &=\int_0^\infty t\,f(t)\,dt=EX . \tag*{\htmlClass{reason}{\text{정의~\href{/read/02/1#def-expcont}{1.5}}}} \end{align*}$$

3. $P(X>x)=1-F(x)$이므로 둘째 식도 같다.1회 정리 4.3(c)

조건 확인 순서를 바꿀 때 쓴 것은 항(피적분함수)이 음이 아니라는 것뿐이다. 그래서 양변이 $\infty$여도 등식이 성립한다. 부호가 섞인 확률변수에는 그대로 쓸 수 없고, $X=X^+-X^-$로 나눠 각각에 쓴다.

증명 없이 쓰는 사실 (음이 아닌 함수의 적분 순서 (Tonelli)) $h(x,t)\ge0$이면 $\int\!\bigl(\int h\,dt\bigr)dx=\int\!\bigl(\int h\,dx\bigr)dt$이다(양변이 $\infty$일 수도 있다). 합과 적분, 합과 합 사이에서도 같다. 특히 음이 아닌 확률변수 $Y_k$에 대해 $E\sum_kY_k=\sum_kEY_k$. 이것과 $Y=Y^+-Y^-$로 쪼개기를 합하면, $\sum_kE|Y_k|<\infty$일 때 $E\sum_kY_k=\sum_kEY_k$이다. 측도론의 Tonelli·Fubini 정리이고, 이 과정에서는 이 형태로만 쓴다.

예제 1.14 (꼬리 공식으로 다시) 

기하분포. $P(X\ge k)=P(\text{처음 }k-1\text{번 실패})=q^{k-1}$이므로 $EX=\sum_{k\ge1}q^{k-1}=\tfrac1p$. 예제 1.4보다 짧다.

지수분포. $P(X>x)=e^{-\lambda x}$이므로 $EX=\int_0^\infty e^{-\lambda x}dx=\tfrac1\lambda$. 부분적분이 필요 없다.

혼합형. 1회 6.3절의 보험금 $X$(확률 $0.3$으로 0, 나머지는 밀도 $0.7e^{-x}$)는 이산도 연속도 아니어서 정의 1.1도 1.5도 쓸 수 없다. 그러나 꼬리 공식의 우변은 계산할 수 있다. $P(X>x)=0.7e^{-x}$이므로 $\int_0^\infty0.7e^{-x}dx=0.7$이다. 이처럼 꼬리 공식은 음이 아닌 모든 확률변수의 기댓값을 정의하는 방법이 된다.

연습문제

연습 1.1 (룰렛 ★) 미국식 룰렛에는 0, 00과 1–36의 38칸이 있고, 빨강은 18칸이다. 빨강에 1을 걸어 맞으면 1을 받고 틀리면 1을 잃는다. 기대 이익을 구하라. 100판 동안의 기대 이익은 얼마인가?

풀이

이길 확률 $\tfrac{18}{38}$, 질 확률 $\tfrac{20}{38}$이므로 $EG=\tfrac{18-20}{38}=-\tfrac1{19}\approx-0.0526$. 선형성으로 100판의 기대 이익은 $-5.26$이다.

연습 1.2 (Huygens의 명제 III ★★) $a$를 얻을 경우가 $p$가지, $b$를 얻을 경우가 $q$가지이고 모든 경우가 같은 정도로 쉽게 일어난다($p,q$는 자연수). $p+q$명이 각각 $x$씩 걸고 제비를 뽑는 공평한 내기를 만들어, 기대가 $x=\tfrac{pa+qb}{p+q}$임을 Huygens의 방식으로 보여라. (힌트: 나는 다른 사람 가운데 $q$명과 “당신이 이기면 내게 $b$를 주고, 내가 이기면 내가 당신에게 $b$를 준다”고 약속하고, 나머지 $p-1$명과는 같은 약속을 $a$로 한다.)

풀이

나와 다른 $p+q-1$명이 각각 $x$씩 걸어 판돈은 $(p+q)x$이고, 공평한 제비로 한 명이 이긴다. 나는 다른 사람 가운데 $q$명과 “당신이 이기면 내게 $b$를 주고, 내가 이기면 당신에게 $b$를 준다”고, 나머지 $p-1$명과는 같은 약속을 $a$로 한다. 그 $q$명 가운데 누가 이기면 나는 $b$를, $p-1$명 가운데 누가 이기면 $a$를 받는다. 내가 이기면 판돈에서 $qb+(p-1)a$를 주고 $(p+q)x-qb-(p-1)a$를 갖는다. 이것이 $a$가 되도록 $x=\tfrac{pa+qb}{p+q}$로 잡으면, 나는 $p$가지 경우(나 자신과 $p-1$명)에 $a$, $q$가지 경우에 $b$를 받는다. 공평한 내기에 $x$를 내고 이 처지를 얻었으므로 그 처지의 값은 $x$다.

연습 1.3 (기댓값이 무한대 ★) $P(X=k)=\tfrac1{k(k+1)}$, $k=1,2,\dots$가 확률질량함수임을 보이고, $EX=\infty$임을 보여라.

풀이

$\tfrac1{k(k+1)}=\tfrac1k-\tfrac1{k+1}$이므로 부분합이 $1-\tfrac1{K+1}\to1$. $EX=\sum_kk\cdot\tfrac1{k(k+1)}=\sum_k\tfrac1{k+1}=\infty$ (조화급수).

연습 1.4 (조건수렴은 기댓값이 아니다 ★★) $X$가 값 $(-1)^{k+1}2^k/k$를 확률 $2^{-k}$로 갖는다($k=1,2,\dots$). $\sum_kx_kp(x_k)$는 수렴하지만 $X$의 기댓값은 존재하지 않음을 보여라. 연습 0.1과 연결해, 이 합을 “기댓값 $\log2$”라 부르면 안 되는 이유를 말하라.

풀이

$\sum_kx_kp(x_k)=\sum_k\tfrac{(-1)^{k+1}}k$는 교대급수로 $\log2$에 수렴한다. 그러나 $\sum_k|x_k|p(x_k)=\sum_k\tfrac1k=\infty$이므로 정의 1.1의 조건을 어긴다. 값 $x_k$들에는 정해진 순서가 없다. 값을 다른 순서로 나열하면 같은 확률분포에서 연습 0.1처럼 $\tfrac32\log2$나 다른 어떤 값도 얻는다. 분포에서 순서와 상관없이 정해지는 수가 아니므로 기댓값이라 부를 수 없다.

연습 1.5 (쿠폰 모으기 ★★) 과자 봉지마다 $n$종류의 쿠폰 가운데 하나가 같은 확률로 독립적으로 들어 있다. $n$종류를 모두 모을 때까지 사는 봉지 수를 $T$라 하자. $T=G_1+G_2+\cdots+G_n$, $G_j$는 $j-1$종류를 가진 뒤 새 종류를 얻을 때까지의 봉지 수로 쓰고, $ET=n\sum_{j=1}^n\tfrac1j$임을 보여라. 주사위의 여섯 눈을 모두 보려면 평균 몇 번 던져야 하나?

풀이

$j-1$종류를 가졌을 때 새 종류가 나올 확률은 $p_j=\tfrac{n-j+1}n$이고 봉지마다 독립이므로 $G_j$는 기하분포, $EG_j=\tfrac n{n-j+1}$이다(예제 1.4). 선형성으로

$$ET=\sum_{j=1}^n\frac n{n-j+1}=n\sum_{i=1}^n\frac1i .$$

$n=6$이면 $6(1+\tfrac12+\cdots+\tfrac16)=14.7$번. ($G_j$들은 서로 다른 시점의 시행이지만, 선형성에는 독립도 필요 없다.)

연습 1.6 (제곱의 꼬리 공식 ★★) $X$가 음이 아닌 정수값을 가지면 $EX^2=\sum_{k\ge1}(2k-1)P(X\ge k)$임을 보여라. 기하분포에서 $EX^2=\tfrac{2-p}{p^2}$를 이것으로 구하라.

풀이

$P(X\ge k)=\sum_{j\ge k}p(j)$를 넣고 음이 아닌 이중합의 순서를 바꾸면

$$\sum_{k\ge1}(2k-1)\sum_{j\ge k}p(j)=\sum_{j\ge1}p(j)\sum_{k=1}^j(2k-1)=\sum_{j\ge1}j^2p(j)=EX^2,$$

$\sum_{k=1}^j(2k-1)=j^2$이기 때문이다. 기하분포에서 $P(X\ge k)=q^{k-1}$이므로 $EX^2=2\sum_kkq^{k-1}-\sum_kq^{k-1}=\tfrac2{p^2}-\tfrac1p=\tfrac{2-p}{p^2}$.

연습 1.7 (Halley의 기대여명 ★) Halley의 생명표에서 $\ell(x)$를 1세 1,000명 가운데 $x$세에 살아 있는 수라 하자. 이미 $x$세인 사람이 앞으로 완전히 살 햇수 $K$는 $P(K\ge k)=\ell(x+k)/\ell(x)$를 만족한다. 꼬리 공식으로 기대여명 $EK=\sum_{k\ge1}\ell(x+k)/\ell(x)$를 쓰고, 노트북으로 $x=20$일 때 값을 구하라(표는 84세에서 끝나므로 그 뒤는 0으로 둔다).

풀이

$\{K\ge k\}$는 $x+k$세까지 산다는 사건이고 그 확률이 $\ell(x+k)/\ell(x)$이므로 꼬리 공식(정리 1.13(a))으로 $EK=\sum_{k\ge1}\ell(x+k)/\ell(x)$. Halley의 표로 $x=20$이면 약 $33.6$년이다(완전한 햇수만 센 값이고, 죽는 해의 반년을 더하면 약 34.1년). 1세의 기대여명 32.9년보다 길다. 어린 나이의 높은 사망률을 이미 지나왔기 때문이다. 1671년 Johan de Witt가 종신연금의 값을 이런 기댓값으로 매겼다.

연습 1.8 (대칭이어도 ★★) 예제 1.8의 Cauchy 밀도에서 $\int_{-A}^{2A}x\,f(x)\,dx\to\tfrac1\pi\log2$ ($A\to\infty$)임을 보여라.

풀이

$\int_{-A}^{2A}\tfrac{x}{\pi(1+x^2)}dx=\tfrac1{2\pi}\bigl[\log(1+x^2)\bigr]_{-A}^{2A}=\tfrac1{2\pi}\log\tfrac{1+4A^2}{1+A^2}\to\tfrac1{2\pi}\log4=\tfrac1\pi\log2$.

연습 1.9 (함수의 기댓값: 증명 ★★ 유도형) 정리 1.9(a)를 다음 순서로 증명하라. $Y=g(X)$가 갖는 서로 다른 값을 $y_1,y_2,\dots$라 하자.

1. (a)

   $\{Y=y_j\}=\bigcup_{i:\,g(x_i)=y_j}\{X=x_i\}$가 서로소인 합집합임을 보이고 $P(Y=y_j)=\sum_{i:\,g(x_i)=y_j}p(x_i)$를 얻어라.

2. (b)

   음이 아닌 급수를 묶어 더해도 된다는 것(1회 4.6절의 상자)으로 $\sum_j|y_j|P(Y=y_j)=\sum_i|g(x_i)|p(x_i)$를 보여라. 따라서 $EY$가 존재한다.

3. (c)

   같은 묶음을 절댓값 없이 해서 $EY=\sum_ig(x_i)p(x_i)$를 얻어라. 이 단계에서 보조정리 0.1가 왜 필요한가?

풀이

(a) $Y=y_j$인 것은 $g(X)=y_j$인 것, 곧 $g(x_i)=y_j$인 어떤 $x_i$에서 $X=x_i$인 것이다. 서로 다른 $x_i$에 대한 사건 $\{X=x_i\}$는 서로소이므로 (P3)으로 $P(Y=y_j)=\sum_{i:\,g(x_i)=y_j}p(x_i)$이다. (b) 첨자 $i$들을 $g(x_i)$의 값으로 나누면 모든 $i$가 정확히 한 묶음에 들어간다. 음이 아닌 급수는 묶어 더해도 같으므로

$$\sum_j|y_j|\,P(Y=y_j)=\sum_j\ \sum_{i:\,g(x_i)=y_j}|g(x_i)|\,p(x_i)=\sum_i|g(x_i)|\,p(x_i)<\infty .$$

첫 등호에서 묶음 안에서는 $|g(x_i)|=|y_j|$임을 썼다. 따라서 정의 1.1로 $EY$가 존재한다. (c) 같은 묶음을 절댓값 없이 하면 $EY=\sum_jy_jP(Y=y_j)=\sum_ig(x_i)p(x_i)$이다. 부호가 섞인 급수를 묶어 더해도 값이 같다는 것은 절대수렴할 때만 보장되므로 보조정리 0.1가 필요하다. 그 조건을 (b)에서 확인했다.

이 절을 PDF로 보기 (4쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례