4회 · 셈하는 분포와 섞인 분포 · 노트

3 Poisson 과정과 감마분포

드문 사건을 세는 대신 기다리면 어떻게 되나? 시간 위에 사건이 무작위로 흩어져 있을 때, 정해진 시간 동안의 사건 수가 Poisson이면 다음 사건까지의 시간은 지수분포이고, $r$번째 사건까지의 시간은 감마분포다. 이 절은 그 관계를 증명하고, 감마분포의 한 구성원인 $\chi^2$ 분포를 세운다.

3.1 Poisson 과정

정의 3.1 (Poisson 과정) 시각 $t\ge0$까지 일어난 사건의 수 $N(t)$가 다음을 만족하면 비율 $\lambda$의 Poisson 과정이라 한다.

1. (i)

   $N(0)=0$이고, 겹치지 않는 시간 구간들의 사건 수는 독립이다.

2. (ii)

   길이 $t$인 구간의 사건 수는 $\mathrm{Poi}(\lambda t)$를 따른다.

“왜 Poisson인가”는 정리 2.3가 답한다. 구간 $[0,t]$를 길이 $t/n$인 작은 칸 $n$개로 나누면, 칸마다 사건이 하나 있을 확률이 약 $\lambda t/n$이고 두 개 이상일 확률은 무시할 만하며 칸들은 독립이다. 그러면 사건 수는 $\mathrm b(n,\lambda t/n)$에 가깝고, $n\to\infty$에서 $\mathrm{Poi}(\lambda t)$가 된다. 방사성 붕괴(Rutherford–Geiger 1910), 전화 교환대에 걸려 오는 전화(Erlang 1909), 서버에 들어오는 요청이 이 모형을 따른다.

그림 3.1 Poisson 과정의 한 경로. 사건 사이의 시간 $W_1,W_2,\dots$(위)는 독립인 지수분포이고, 정해진 길이의 구간 안의 사건 수(아래)는 Poisson이다. $r$번째 사건의 시각 $T_r=W_1+\cdots+W_r$은 감마분포다.

정리 3.2 (기다리는 시간) 비율 $\lambda$의 Poisson 과정에서 $r$번째 사건의 시각을 $T_r$이라 하면

$$P(T_r\le t)=P\bigl(N(t)\ge r\bigr)=1-\sum_{k=0}^{r-1}e^{-\lambda t}\frac{(\lambda t)^k}{k!},\qquad f_{T_r}(t)=\frac{\lambda^rt^{r-1}}{(r-1)!}e^{-\lambda t}\quad(t>0).$$

특히 첫 사건까지의 시간 $T_1$은 $\mathrm{Exp}(\lambda)$이다.

증명 전략 “$r$번째 사건이 $t$까지 일어났다”를 “$t$까지의 사건 수가 $r$ 이상”으로 바꿔 Poisson 확률로 쓴다. 밀도는 그 분포함수를 미분해 얻는다.

1. $\{T_r\le t\}=\{N(t)\ge r\}$이다. $r$번째 사건이 $t$까지 일어났다는 것과 $t$까지 사건이 $r$개 이상이라는 것은 같은 결과들의 모임이다.원소 추적 [T1]

2. $P(N(t)\ge r)=1-\sum_{k=0}^{r-1}e^{-\lambda t}\tfrac{(\lambda t)^k}{k!}$이다.정의 3.1(ii), 여사건

3. 2를 $t$로 미분하면 각 항의 도함수 $\lambda e^{-\lambda t}\bigl[\tfrac{(\lambda t)^{k-1}}{(k-1)!}-\tfrac{(\lambda t)^k}{k!}\bigr]$에서 이웃 항이 소거되어 $f_{T_r}(t)=\lambda e^{-\lambda t}\tfrac{(\lambda t)^{r-1}}{(r-1)!}$만 남는다. $k=0$인 항에는 첫째 항이 없다.망원 합 [T4], 연습 3.1

4. $r=1$이면 $P(T_1\le t)=1-e^{-\lambda t}$이므로 $T_1\sim\mathrm{Exp}(\lambda)$이다.2

3회 예제 5.7에서 독립인 지수분포 $n$개의 합이 같은 밀도를 가졌다. 이것은 우연이 아니다. 사건 사이의 시간들이 독립인 $\mathrm{Exp}(\lambda)$이고(연습 3.2), 그 합이 $T_r$이다. 세는 것(Poisson)과 기다리는 것(감마)은 같은 과정의 두 얼굴이다.

정리 3.3 (지수분포의 무기억성) $X\sim\mathrm{Exp}(\lambda)$이면 모든 $s,t>0$에 대해

$$P(X>s+t\mid X>s)=P(X>t) .$$

거꾸로, 연속이고 양수인 확률변수가 이 성질을 가지면 지수분포다.

증명 전략 정방향은 생존함수 $G(x)=P(X>x)$를 넣어 계산한다. 역방향은 $G(s+t)=G(s)G(t)$를 자연수, 유리수, 실수의 순서로 풀고, 실수로 넓힐 때 오른쪽 연속성을 쓴다.

정방향

1. $G(x)=e^{-\lambda x}$이므로 $P(X>s+t\mid X>s)=\tfrac{G(s+t)}{G(s)}=e^{-\lambda t}=G(t)$이다.조건부확률의 정의, $\{X>s+t\}\subset\{X>s\}$

역방향

1. 조건부확률이 정의되려면 모든 $s>0$에서 $G(s)>0$이고, 성질은 $G(s+t)=G(s)G(t)$ ($s,t>0$)와 같다.조건부확률의 정의

2. $c=G(1)$로 두면 자연수 $n$에서 $G(n)=c^n$이다.1, 귀납 [T3]

3. $0<c<1$이다. $c>0$은 1이다. $c=1$이면 2로 모든 $n$에서 $G(n)=1$인데, $X$는 실숫값이므로 $G(n)\to0$이어야 한다.1회 정리 6.3(b), 귀류 [T2]

4. 자연수 $m$에서 $c=G(1)=G(\tfrac1m)^m$이므로 $G(\tfrac1m)=c^{1/m}$이고, 2와 같은 귀납으로 $G(\tfrac nm)=c^{n/m}$이다. 곧 양의 유리수 $q$에서 $G(q)=c^q$이다.1, [T3]

5. 실수 $x>0$이면 $q_k\downarrow x$인 유리수열을 잡는다. $G=1-F$는 오른쪽 연속이므로 $G(x)=\lim_kc^{q_k}=c^x$이다.1회 정리 6.3(c), [T5]

6. $\lambda=-\log c$로 두면 3으로 $\lambda>0$이고, $P(X>x)=e^{-\lambda x}$이므로 $X\sim\mathrm{Exp}(\lambda)$이다.3 5

이미 $s$시간을 기다렸어도 앞으로 기다릴 시간의 분포는 처음과 같다. 사건이 “밀린다”는 생각이 틀리는 이유다. 버스가 Poisson 과정으로 온다면, 정류장에 늦게 왔다고 버스가 곧 온다는 보장은 없다. 이산판은 기하분포다(연습 3.3).

3.2 감마함수와 감마분포

정리 3.2의 밀도에서 $(r-1)!$을 실수로 넓히면 감마분포가 된다.

정의 3.4 (감마함수) $\alpha>0$에 대해

$$\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}\,dx .$$

정리 3.5 (감마함수의 성질) (a) $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$. (b) 자연수 $n$에 대해 $\Gamma(n)=(n-1)!$. (c) $\Gamma(\tfrac12)=\sqrt\pi$.

증명 전략 (a)는 부분적분이고 경계항이 사라지는 것을 확인한다. (b)는 (a)의 귀납 [T3], (c)는 치환으로 가우스 적분을 만든다 [T7]. 단계별 증명은 연습 3.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정의 3.6 (감마분포) $\alpha,\beta>0$에 대해 밀도

$$f(x)=\frac1{\Gamma(\alpha)\beta^\alpha}\,x^{\alpha-1}e^{-x/\beta},\qquad x>0$$

를 갖는 분포를 감마분포 $\Gamma(\alpha,\beta)$라 한다. $\alpha$는 모양, $\beta$는 척도 모수다.

$x=\beta y$로 치환하면 적분이 $\Gamma(\alpha)$의 정의가 되어 1이다. $\Gamma(1,\beta)$는 평균 $\beta$의 지수분포이고, 정리 3.2의 $T_r$은 $\Gamma(r,1/\lambda)$이다. 그림 3.2처럼 $\alpha<1$이면 0에서 밀도가 무한대이고, $\alpha$가 커지면 종 모양이 된다.

정리 3.7 (감마분포의 mgf와 적률) $X\sim\Gamma(\alpha,\beta)$이면 $t<1/\beta$에서 $M(t)=(1-\beta t)^{-\alpha}$이고, $EX=\alpha\beta$, $\Var X=\alpha\beta^2$. 독립인 $X_i\sim\Gamma(\alpha_i,\beta)$(같은 $\beta$)의 합은 $\Gamma(\sum\alpha_i,\beta)$이다.

증명 전략 mgf의 적분을 치환으로 감마함수의 정의로 바꾼다. 적률은 누율생성함수의 미분, 합은 mgf의 곱과 유일성이다. 단계별 증명은 연습 3.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

그림 3.2 왼쪽: 감마 밀도 $\Gamma(\alpha,1)$. $\alpha<1$이면 0에서 무한대, $\alpha=1$이면 지수, $\alpha$가 커지면 종 모양이 된다. 오른쪽: $\chi^2(r)$ 밀도.

3.3 $\chi^2$χ² 분포

정의 3.8 ($\chi^2$ 분포) $r>0$에 대해 $\Gamma(\tfrac r2,2)$를 자유도 $r$인 카이제곱 분포 $\chi^2(r)$이라 한다. 평균은 $r$, 분산은 $2r$, mgf는 $(1-2t)^{-r/2}$이다.

정리 3.9 (표준정규의 제곱합) $Z\sim\N(0,1)$이면 $Z^2\sim\chi^2(1)$이다. 따라서 $Z_1,\dots,Z_r\iid\N(0,1)$이면 $\sum_{i=1}^rZ_i^2\sim\chi^2(r)$.

증명 전략 $Z^2$의 분포함수를 $\Phi$로 쓰고 미분해 $\Gamma(\tfrac12,2)$의 밀도를 알아본다. 합은 감마의 합이다. 단계별 증명은 연습 3.9(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

3회 연습 5.6에서 Box–Muller의 $R^2=Z_1^2+Z_2^2$이 평균 2인 지수분포였다. 그것이 $\chi^2(2)=\Gamma(1,2)$다. $\chi^2$ 분포는 6회(Student의 $t$)와 8회(적합도 검정)의 중심이다. 자유도 $r$은 “독립인 표준정규를 몇 개 제곱해 더했는가”로 읽는다.

연습문제

연습 3.1 (망원급수 ★) 정리 3.2의 증명에서 $\tfrac d{dt}\sum_{k=0}^{r-1}e^{-\lambda t}\tfrac{(\lambda t)^k}{k!}=-\lambda e^{-\lambda t}\tfrac{(\lambda t)^{r-1}}{(r-1)!}$임을 보여라.

풀이

$\tfrac d{dt}\Bigl[e^{-\lambda t}\tfrac{(\lambda t)^k}{k!}\Bigr]=\lambda e^{-\lambda t}\Bigl[\tfrac{(\lambda t)^{k-1}}{(k-1)!}-\tfrac{(\lambda t)^k}{k!}\Bigr]$ ($k=0$이면 첫 항이 없다). $k=0,\dots,r-1$로 더하면 이웃 항이 소거되어 $-\lambda e^{-\lambda t}\tfrac{(\lambda t)^{r-1}}{(r-1)!}$만 남는다.

연습 3.2 (사건 사이의 시간 ★★) $W_1=T_1$, $W_2=T_2-T_1$이다. 정의 3.1의 (i)–(ii)에서 $P(W_1>s,\allowbreak \ W_2>t)=e^{-\lambda s}e^{-\lambda t}$임을 보여라. (힌트: $W_1$이 $s$ 근처일 때 $(s,s+t]$에 사건이 없을 확률. 엄밀한 증명은 조건부 밀도를 쓴다.)

풀이

첫 사건이 $(u,u+du]$에 있고($u>s$) 그 뒤 $(u,u+t]$에 사건이 없을 확률은 정의 (i)–(ii)로 $\lambda e^{-\lambda u}du\cdot e^{-\lambda t}$이다. $u>s$로 적분하면 $e^{-\lambda s}e^{-\lambda t}$이고, 결합 생존함수가 곱으로 인수분해되므로 $W_1,W_2$는 독립인 $\mathrm{Exp}(\lambda)$이다.

연습 3.3 (기하분포의 무기억성 ★) 실패 수 $G$가 기하분포이면 $P(G\ge s+t\mid G\ge s)=P(G\ge t)$ (정수 $s,t\ge0$)임을 보여라.

풀이

$P(G\ge m)=\sum_{k\ge m}q^kp=q^m$이므로 $P(G\ge s+t\mid G\ge s)=q^{s+t}/q^s=q^t=P(G\ge t)$.

연습 3.4 (감마의 적률 ★) $X\sim\Gamma(\alpha,\beta)$이면 $EX^k=\beta^k\tfrac{\Gamma(\alpha+k)}{\Gamma(\alpha)}$임을 적분으로 보이고 $k=1,2$로 평균과 분산을 확인하라. $k>-\alpha$인 실수 $k$에서도 성립한다.

풀이

$EX^k=\tfrac1{\Gamma(\alpha)\beta^\alpha}\int_0^\infty x^{\alpha+k-1}e^{-x/\beta}dx=\tfrac{\Gamma(\alpha+k)\beta^{\alpha+k}}{\Gamma(\alpha)\beta^\alpha}$. $k=1$: $\alpha\beta$. $k=2$: $\alpha(\alpha+1)\beta^2$이고 분산 $\alpha\beta^2$. 적분은 $\alpha+k>0$이면 유한하다.

연습 3.5 (기다림과 셈 ★) 서버에 요청이 분당 평균 3개씩 Poisson 과정으로 들어온다. 5번째 요청이 2분 안에 올 확률을 (a) 감마분포로, (b) Poisson 분포로 구하라. 같은 값인가?

풀이

$T_5\sim\Gamma(5,\tfrac13)$이고 $P(T_5\le2)=P(N(2)\ge5)$, $N(2)\sim\mathrm{Poi}(6)$. 두 계산 모두 $0.7149$로 같다(정리 3.2).

연습 3.6 ($\Gamma(\tfrac32)$와 반정수 ★) $\Gamma(\tfrac32)=\tfrac{\sqrt\pi}2$, $\Gamma(\tfrac52)=\tfrac{3\sqrt\pi}4$를 보이고, $\chi^2(3)$의 밀도를 쓰라. 이것은 3차원 표준정규 벡터의 길이의 제곱의 분포이며, Maxwell(1860)이 기체 분자의 속력 분포를 유도한 것과 같은 계산이다.

풀이

$\Gamma(\tfrac32)=\tfrac12\Gamma(\tfrac12)=\tfrac{\sqrt\pi}2$, $\Gamma(\tfrac52)=\tfrac32\Gamma(\tfrac32)=\tfrac{3\sqrt\pi}4$. $\chi^2(3)$의 밀도는 $\tfrac{x^{1/2}e^{-x/2}}{\Gamma(3/2)2^{3/2}}=\tfrac{\sqrt x\,e^{-x/2}}{\sqrt{2\pi}}$ ($x>0$).

연습 3.7 (감마함수의 성질: 증명 ★★ 유도형) 정리 3.5를 다음 순서로 증명하라.

1. (a)

   $\alpha>0$이면 $\Gamma(\alpha)$의 적분이 수렴함을 보여라. $0$ 근처에서는 $x^{\alpha-1}e^{-x}\le x^{\alpha-1}$, 무한대 근처에서는 $x^{\alpha-1}e^{-x}\le e^{-x/2}$ (충분히 큰 $x$)를 쓴다.

2. (b)

   $0<\varepsilon<M$에서 $\int_\varepsilon^Mx^\alpha e^{-x}dx$를 부분적분하고, $\varepsilon\to0$, $M\to\infty$에서 경계항 $-x^\alpha e^{-x}$이 사라짐을 보여 정리의 (a) $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$를 얻어라.

3. (c)

   $\Gamma(1)=1$을 계산하고 $n$에 대한 귀납법으로 $\Gamma(n)=(n-1)!$을 보여라.

4. (d)

   $x=z^2/2$로 치환해 $\Gamma(\tfrac12)=\sqrt2\int_0^\infty e^{-z^2/2}dz$를 보이고, 3회 정리 5.3으로 $\sqrt\pi$를 얻어라.

풀이

(a) $\int_0^1x^{\alpha-1}e^{-x}dx\le\int_0^1x^{\alpha-1}dx=\tfrac1\alpha<\infty$이다. $x^{\alpha-1}e^{-x/2}\to0$ ($x\to\infty$)이므로 어떤 $x_0$ 이후로 $x^{\alpha-1}e^{-x}\le e^{-x/2}$이고, $\int_{x_0}^\infty e^{-x/2}dx<\infty$이다. 사이의 구간 $[1,x_0]$에서는 연속함수의 적분이다. (b) $\int_\varepsilon^Mx^\alpha e^{-x}dx=\bigl[-x^\alpha e^{-x}\bigr]_\varepsilon^M+\alpha\int_\varepsilon^Mx^{\alpha-1}e^{-x}dx$이다. $\varepsilon^\alpha e^{-\varepsilon}\to0$ ($\alpha>0$)이고 $M^\alpha e^{-M}\to0$이므로 극한에서 $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$이다. (c) $\Gamma(1)=\int_0^\infty e^{-x}dx=1=0!$이다. $\Gamma(n)=(n-1)!$이면 (b)로 $\Gamma(n+1)=n\Gamma(n)=n!$이다. (d) $x=z^2/2$이면 $dx=z\,dz$, $x^{-1/2}=\sqrt2/z$이므로 $\Gamma(\tfrac12)=\int_0^\infty\tfrac{\sqrt2}ze^{-z^2/2}z\,dz=\sqrt2\int_0^\infty e^{-z^2/2}dz$이다. 3회 정리 5.3의 절반 $\int_0^\infty e^{-z^2/2}dz=\tfrac{\sqrt{2\pi}}2$을 넣으면 $\sqrt\pi$이다.

연습 3.8 (감마분포의 mgf와 적률: 증명 ★ 유도형) $X\sim\Gamma(\alpha,\beta)$이다. 정리 3.7를 다음 순서로 증명하라.

1. (a)

   $t<1/\beta$이면 $M(t)=\tfrac1{\Gamma(\alpha)\beta^\alpha}\int_0^\infty x^{\alpha-1}e^{-x(1/\beta-t)}dx$에서 $y=x(1/\beta-t)$로 치환해 $M(t)=(1-\beta t)^{-\alpha}$를 얻어라. $t\ge1/\beta$이면 무엇이 문제인가?

2. (b)

   누율생성함수 $\psi(t)=-\alpha\log(1-\beta t)$를 두 번 미분해 평균과 분산을 얻어라.

3. (c)

   같은 $\beta$의 독립인 감마의 합에 대해 mgf의 곱과 유일성으로 결론을 얻어라. $\beta$가 다르면 무엇이 깨지는가?

풀이

(a) $t<1/\beta$이면 $c=1/\beta-t>0$이고, $y=cx$로 치환하면 $\int_0^\infty x^{\alpha-1}e^{-cx}dx=c^{-\alpha}\Gamma(\alpha)$이다. 따라서 $M(t)=\tfrac{c^{-\alpha}}{\beta^\alpha}=(\beta c)^{-\alpha}=(1-\beta t)^{-\alpha}$이다. $t\ge1/\beta$이면 $c\le0$이고 피적분함수가 무한대에서 0으로 가지 않아 적분이 발산한다. (b) $\psi'(t)=\tfrac{\alpha\beta}{1-\beta t}$, $\psi''(t)=\tfrac{\alpha\beta^2}{(1-\beta t)^2}$이므로 $EX=\alpha\beta$, $\Var X=\alpha\beta^2$이다. (c) mgf의 곱은 $\prod_i(1-\beta t)^{-\alpha_i}=(1-\beta t)^{-\sum\alpha_i}$이고 $t<1/\beta$인 열린구간에서 $\Gamma(\sum\alpha_i,\beta)$의 mgf와 같다. $\beta$가 다르면 밑 $1-\beta_it$가 달라 한 거듭제곱으로 묶이지 않고, 합은 감마분포가 아니다.

연습 3.9 (표준정규의 제곱합: 증명 ★★ 유도형) 정리 3.9을 다음 순서로 증명하라.

1. (a)

   $y>0$이면 $P(Z^2\le y)=\Phi(\sqrt y)-\Phi(-\sqrt y)$임을 보이고, 미분해 $f_{Z^2}(y)=\tfrac{\phi(\sqrt y)+\phi(-\sqrt y)}{2\sqrt y}$를 얻어라.

2. (b)

   정리 3.5(c)를 써서 (a)가 $\Gamma(\tfrac12,2)$의 밀도임을 확인하라.

3. (c)

   독립인 $Z_i^2$들이 같은 척도 $\beta=2$의 감마이므로 정리 3.7로 합의 분포를 얻어라. $Z_i^2$들이 독립이라는 것은 어디서 나오는가?

풀이

(a) $\{Z^2\le y\}=\{-\sqrt y\le Z\le\sqrt y\}$이므로 $P(Z^2\le y)=\Phi(\sqrt y)-\Phi(-\sqrt y)$이다. 연쇄법칙으로 미분하면 $\phi(\sqrt y)\tfrac1{2\sqrt y}+\phi(-\sqrt y)\tfrac1{2\sqrt y}$이다. (b) $\phi$는 짝함수이므로 (a)는 $\tfrac{\phi(\sqrt y)}{\sqrt y}=\tfrac1{\sqrt{2\pi}}y^{-1/2}e^{-y/2}$이다. $\sqrt{2\pi}=\Gamma(\tfrac12)2^{1/2}$이므로 이것은 $\tfrac1{\Gamma(1/2)2^{1/2}}y^{\frac12-1}e^{-y/2}$, 곧 $\Gamma(\tfrac12,2)$의 밀도다. (c) $Z_i^2$은 $Z_i$의 함수이므로 $Z_i$들이 독립이면 $Z_i^2$들도 독립이다(3회의 “독립인 변수의 함수의 독립”). 각각 $\Gamma(\tfrac12,2)$이므로 정리 3.7로 합은 $\Gamma(\tfrac r2,2)=\chi^2(r)$이다.

이 절을 PDF로 보기 (13쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례