2회 · 기댓값·부등식·대수의 법칙 · 노트

3 적률생성함수

적률을 하나씩 계산하는 대신 모두를 한 함수에 담을 수 있다. 그 함수를 미분하면 적률이 나오고, 두 독립 확률변수의 합에서는 그 함수가 곱이 된다. 합의 분포를 구하는 일이 곱셈으로 바뀌는 것이다. 이 도구는 4회의 분포들, 5회의 정규분포, 7회의 중심극한정리에서 계속 쓰인다.

역사 de Moivre는 Miscellanea Analytica(1730)에서 주사위 여러 개의 합의 분포를 다항식 $(z+z^2+\cdots+z^6)^n$의 계수로 구했다. Laplace는 Théorie analytique des probabilités(1812)의 첫 권 전체를 이 “생성함수”(fonctions génératrices)의 계산법에 바쳤다. 오늘의 적률생성함수 $E\,e^{tX}$는 분포의 Laplace 변환이다.

3.1 정의와 예

정의 3.1 (적률생성함수) 어떤 $h>0$에 대해 $-h<t<h$인 모든 $t$에서 $E\,e^{tX}<\infty$이면

$$M_X(t)=E\,e^{tX},\qquad -h<t<h$$

를 $X$의 적률생성함수(moment generating function, mgf)라 한다.

$M(0)=1$은 언제나 성립한다. 중요한 것은 $0$을 포함하는 열린 구간에서 유한하다는 조건이다. 이 조건은 꼬리가 지수적으로 가볍다는 뜻이고(연습 3.4), 바로 이 조건에서 아래의 정리들이 성립한다.

예제 3.2 (기본적인 적률생성함수) 

Bernoulli와 이항. $X=\mathbf 1_A$이면 $M(t)=q+pe^t$. $K\sim\mathrm b(n,p)$이면 이항정리(1회 정리 1.6)로

$$M_K(t)=\sum_{k=0}^n e^{tk}\binom nkp^kq^{n-k}=\sum_{k=0}^n\binom nk(pe^t)^kq^{n-k}=(q+pe^t)^n,\qquad t\in\R .$$

기하분포. $qe^t<1$, 곧 $t<-\log q$이면 등비급수로 $M(t)=\sum_{k\ge1}e^{tk}q^{k-1}p=\tfrac{pe^t}{1-qe^t}$.

지수분포. $t<\lambda$이면 $M(t)=\int_0^\infty e^{tx}\lambda e^{-\lambda x}dx=\tfrac{\lambda}{\lambda-t}$. $t\ge\lambda$이면 적분이 발산한다.

균등분포. $X\sim\mathrm U(0,1)$이면 $M(t)=\int_0^1e^{tx}dx=\tfrac{e^t-1}t$ ($t\ne0$), $M(0)=1$.

Cauchy. $t>0$이면 $e^{tx}\ge\tfrac{t^2x^2}2$ ($x>0$)이므로 $\int_0^\infty e^{tx}f(x)\,dx\ge\tfrac{t^2}{2\pi}\int_0^\infty\tfrac{x^2}{1+x^2}dx=\infty$. $t<0$도 같다. Cauchy 분포에는 mgf가 없다.

3.2 mgf에서 적률로

정리 3.3 (적률생성함수와 적률) $X$의 mgf가 $|t|<h$에서 존재하면 모든 차수의 적률이 유한하고, $|t|<h$에서

$$M(t)=\sum_{k=0}^\infty\frac{EX^k}{k!}\,t^k .$$

따라서 $M$은 $|t|<h$에서 무한 번 미분가능하고 $M^{(k)}(0)=EX^k$이다.

증명 전략 $e^{tX}$를 거듭제곱급수 $\sum_kt^kX^k/k!$로 펼치고, 합과 기댓값의 순서를 바꾼다. 순서를 바꿔도 되는 근거는 절댓값의 급수의 기댓값이 유한하다는 것이고, 그것을 mgf가 $0$의 양쪽에서 존재한다는 가정에서 얻는다 [T6].

1. $0\le s<h$이면 $e^{s|x|}\le e^{sx}+e^{-sx}$이므로 $E\,e^{s|X|}\le M(s)+M(-s)<\infty$이다.정리 1.10(b)

2. $0<s<h$를 하나 고르면 $e^{s|x|}=\sum_j\tfrac{s^j|x|^j}{j!}\ge\tfrac{s^k|x|^k}{k!}$이므로 $E|X|^k\le k!\,s^{-k}\,E\,e^{s|X|}<\infty$이다. 모든 $k$에서 성립한다.지수함수의 급수 [T8], 1

3. $|t|<h$에서 $e^{tX}=\sum_kY_k$, $Y_k=\tfrac{t^kX^k}{k!}$로 쓰면

   $$\sum_kE|Y_k|=E\sum_k\frac{|t|^k|X|^k}{k!}=E\,e^{|t||X|}<\infty .$$

   Tonelli (1.5절 상자), 1

4. 따라서 $E\,e^{tX}=\sum_kEY_k=\sum_k\tfrac{t^k\,EX^k}{k!}$이다.1.5절 상자의 마지막 문장

5. 수렴반경이 $h$ 이상인 거듭제곱급수는 그 안에서 항별로 미분할 수 있다. $k$번 미분해 $t=0$을 넣으면 $t^k$의 계수의 $k!$배, 곧 $EX^k$만 남는다.거듭제곱급수의 항별 미분

조건 확인 4에서 합과 기댓값의 순서를 바꾼 근거는 $\sum_kE|Y_k|<\infty$이고, 이것을 3에서 확인했다. $M(s)$와 $M(-s)$가 모두 유한해야 1이 성립하므로, mgf가 $0$의 한쪽에서만 존재하면 이 증명은 성립하지 않는다.

따름정리 3.4 (로그 mgf) $\psi(t)=\log M(t)$라 하면 $\psi'(0)=EX$, $\psi''(0)=\Var X$이다.

증명 $\psi'=M'/M$이고 $\psi''=\bigl(M''M-(M')^2\bigr)/M^2$이다. $M(0)=1$, $M'(0)=EX$, $M''(0)=EX^2$을 넣는다.

$\psi$를 누율생성함수라 한다. 평균과 분산이 $\psi$의 처음 두 미분계수라는 사실은 5회(정규분포의 $\psi(t)=\mu t+\tfrac12\sigma^2t^2$)와 7회(중심극한정리)에서 중심이 된다. 그림 3.1에서 보듯 $0$ 근처의 $\psi$는 이 이차식과 거의 같다.

그림 3.1 세 분포의 mgf(왼쪽)와 로그 mgf(오른쪽). 점선은 $0$에서의 접선 $1+\mu t$와 이차 근사 $\mu t+\tfrac12\sigma^2t^2$이다. 지수분포의 mgf는 $t\to1$에서 무한대로 간다.

예제 3.5 (mgf로 계산하기) 

이항. $M=(q+pe^t)^n$에서 $\psi(t)=n\log(q+pe^t)$, $\psi'(t)=\tfrac{npe^t}{q+pe^t}$, $\psi''(t)=\tfrac{npqe^t}{(q+pe^t)^2}$이므로 $\psi'(0)=np$, $\psi''(0)=npq$. 정리 2.4을 미분 두 번으로 다시 얻었다.

지수분포의 모든 적률. $|t|<\lambda$에서 $M(t)=\tfrac1{1-t/\lambda}=\sum_k\tfrac{t^k}{\lambda^k}$이다. 정리 3.3의 급수와 계수를 비교하면 $\tfrac{EX^k}{k!}=\tfrac1{\lambda^k}$, 곧 $EX^k=\tfrac{k!}{\lambda^k}$. 미분을 한 번도 하지 않았다.

3.3 변환과 독립합, 그리고 유일성

정리 3.6 (아핀 변환과 독립합) 

1. (a)

   $M_{aX+b}(t)=e^{bt}M_X(at)$.

2. (b)

   $X,Y$가 독립인 이산 확률변수이고 둘 다 mgf가 있으면 $M_{X+Y}(t)=M_X(t)\,M_Y(t)$.

증명 (a) $E\,e^{t(aX+b)}=e^{bt}E\,e^{(at)X}$. (b) $e^{tX}$와 $e^{tY}$는 독립인 변수의 함수이므로 독립이고(2.3절), 정리 2.7로 $E\,e^{t(X+Y)}=E\,e^{tX}e^{tY}=E\,e^{tX}\,E\,e^{tY}$.

(b)는 연속 확률변수에서도 성립한다. 3회에서 결합밀도로 정리 2.7를 넓히면 증명이 그대로 옮겨 간다. mgf가 쓸모 있는 것은 다음 사실 때문이다.

증명 없이 쓰는 사실 (mgf의 유일성) 두 확률변수 $X,Y$의 mgf가 $0$을 포함하는 어떤 열린 구간에서 같으면 $X$와 $Y$의 분포함수가 같다. mgf는 분포의 Laplace 변환이고, 이 변환을 거꾸로 푸는 공식이 있다는 것이 증명의 핵심이다(복소해석이 필요하다). Billingsley, Probability and Measure, 30절. 조건 “$0$의 근방에서 존재”는 빼면 안 된다. 7절에서 mgf가 없는 분포는 모든 적률이 같아도 다를 수 있음을 본다.

예제 3.7 (독립인 시행의 합) $X_1,\dots,X_n$이 독립이고 각각 $\mathrm{Bernoulli}(p)$이면 정리 3.6(b)를 되풀이해 $M_{\sum X_i}(t)=(q+pe^t)^n$이다. 이것은 $\mathrm b(n,p)$의 mgf이므로 유일성으로 $\sum X_i\sim\mathrm b(n,p)$. 같은 방법으로 $K_1\sim\mathrm b(n_1,p)$와 $K_2\sim\mathrm b(n_2,p)$가 독립이면 $K_1+K_2\sim\mathrm b(n_1+n_2,\allowbreak p)$이다. 분포를 합성곱으로 계산하지 않았다.

예제 3.8 (de Moivre의 방법 — 세 주사위) 음이 아닌 정수값의 확률변수에서는 $z=e^t$로 바꾼 $G(z)=E\,z^X=\sum_kP(X=k)z^k$(확률생성함수)가 편하다. 주사위 하나는 $G(z)=\tfrac16(z+z^2+\cdots+z^6)$이고, 독립인 세 주사위의 합은 정리 3.6(b)로

$$G_S(z)=\frac1{216}\bigl(z+z^2+\cdots+z^6\bigr)^3$$

이다. 전개하면 $z^9$의 계수는 25, $z^{10}$의 계수는 27이다. 1회 예제 1.8에서 Galileo가 경우를 하나하나 세어 얻은 수가 다항식의 곱셈 한 번으로 나온다. 노트북에서 np.convolve로 확인한다.

연습문제

연습 3.1 (주사위의 mgf ★) 주사위 눈 $X$의 mgf를 쓰고, $M'(0)$과 $M''(0)$에서 평균과 분산을 확인하라.

풀이

$M(t)=\tfrac16\sum_{k=1}^6e^{kt}$. $M'(0)=\tfrac16\sum k=\tfrac{21}6=3.5$, $M''(0)=\tfrac16\sum k^2=\tfrac{91}6$이므로 $\Var X=\tfrac{91}6-3.5^2=\tfrac{35}{12}$.

연습 3.2 (기하분포 ★) 예제 3.2의 기하분포 mgf에 따름정리 3.4를 써서 $EX=\tfrac1p$, $\Var X=\tfrac q{p^2}$을 다시 구하라.

풀이

$\psi(t)=\log p+t-\log(1-qe^t)$. $\psi'(t)=1+\tfrac{qe^t}{1-qe^t}$이므로 $\psi'(0)=1+\tfrac qp=\tfrac1p$. $\psi''(t)=\tfrac{qe^t}{(1-qe^t)^2}$이므로 $\psi''(0)=\tfrac q{p^2}$.

연습 3.3 (mgf에서 분포로 ★) $M(t)=\tfrac14e^{-t}+\tfrac12+\tfrac14e^{t}$인 확률변수의 분포를 말하라. 근거는 무엇인가? 이 분포는 공평한 동전 두 개로 어떻게 만들 수 있나?

풀이

값 $-1,0,1$을 확률 $\tfrac14,\tfrac12,\tfrac14$로 갖는 분포의 mgf가 정확히 이 식이다. mgf가 $0$의 근방(사실 모든 $t$)에서 같으므로 유일성(3.3절의 상자)으로 분포가 이것이다. 독립인 공평한 동전 두 개의 앞면 지시변수를 $B_1,B_2$라 하면 $B_1-B_2$가 이 분포를 따른다. 실제로 $M_{B_1-B_2}(t)=\tfrac12(1+e^t)\cdot\tfrac12(1+e^{-t})$이다.

연습 3.4 (mgf가 있으면 꼬리가 가볍다 ★★) mgf가 $|t|<h$에서 존재하면 $0<s<h$에 대해 $P(X\ge x)\le M(s)\,e^{-sx}$임을 보여라. (힌트: $\mathbf 1\{X\ge x\}\le e^{s(X-x)}$.) 꼬리가 다항식처럼 줄어드는 분포(예: $P(X\ge x)=x^{-2}$, $x\ge1$)에는 mgf가 없음을 결론지어라.

풀이

$X\ge x$이면 $e^{s(X-x)}\ge1$이고, 아니면 $e^{s(X-x)}>0$이므로 $\mathbf 1\{X\ge x\}\le e^{s(X-x)}$. 기댓값을 취하면 $P(X\ge x)\le e^{-sx}M(s)$. $P(X\ge x)=x^{-2}$이면 mgf가 있을 때 $x^{-2}\le M(s)e^{-sx}$, 곧 $e^{sx}\le M(s)x^2$이 모든 $x\ge1$에서 성립해야 하는데 지수함수가 다항식보다 빨리 자라므로 불가능하다.

연습 3.5 (누율의 덧셈 ★★) $\psi_X=\log M_X$라 하자. 독립인 이산 확률변수에서 $\psi_{X+Y}=\psi_X+\psi_Y$이므로, 분산뿐 아니라 $\psi'''(0)$도 독립합에서 더해진다. $\psi'''(0)=E(X-\mu)^3$임을 보이고, $n$개의 독립인 $\mathrm{Bernoulli}(p)$의 합의 왜도가 $\tfrac{1-2p}{\sqrt{npq}}$임을 결론지어라.

풀이

$\psi_{X+Y}=\log(M_XM_Y)=\psi_X+\psi_Y$ (정리 3.6(b)). $\psi'''=\bigl(M'''M^2-3M''M'M+2(M')^3\bigr)/M^3$에 $t=0$을 넣으면 $EX^3-3EX^2\cdot\mu+2\mu^3$이고, 이것은 $E(X-\mu)^3=EX^3-3\mu EX^2+3\mu^2EX-\mu^3$과 같다. Bernoulli 하나의 3차 누율은 $pq(q-p)$이므로(연습 2.7) $n$개의 합은 $npq(q-p)$, 분산은 $npq$이고 왜도는 $\tfrac{npq(q-p)}{(npq)^{3/2}}=\tfrac{1-2p}{\sqrt{npq}}$. $n$이 커지면 0으로 간다. 이항분포가 대칭에 가까워진다는 뜻이다(5회 de Moivre).

연습 3.6 (Sicherman의 주사위 ★★★) 면에 $1,2,2,3,3,4$와 $1,3,4,5,6,8$이 적힌 두 주사위를 굴린 합은 보통 주사위 두 개의 합과 분포가 같음을 확률생성함수로 보여라. (힌트: $z+z^2+\cdots+z^6=z(1+z)(1+z+z^2)(1-z+z^2)$이고, 두 주사위는 이 인수들을 다르게 나눠 가진 것이다.)

풀이

보통 주사위 두 개의 합의 확률생성함수는 $\tfrac1{36}z^2(1+z)^2(1+z+z^2)^2(1-z+z^2)^2$이다. 첫 주사위에 $z(1+z)(1+z+z^2)=z+2z^2+2z^3+z^4$, 둘째에 $z(1+z)(1+z+z^2)(1-z+z^2)^2=z+z^3+z^4+z^5+z^6+z^8$을 주면 곱이 같다. 각 다항식의 계수의 합(=$z=1$에서의 값)이 6이므로 각각 면이 6개인 주사위다. 확률생성함수가 같으면 계수, 곧 분포가 같다.

이 절을 PDF로 보기 (20쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례