4회 · 셈하는 분포와 섞인 분포 · 노트

2 Poisson 분포 — 드문 사건의 법칙

2.1 이항분포의 극한

역사 Abraham de Moivre는 1711년 De Mensura Sortis에서, 성공 확률이 아주 작은 시행을 많이 할 때 성공이 $k$번일 확률을 $e^{-\lambda}\lambda^k/k!$ 꼴로 어림했다. 1837년 Siméon-Denis Poisson은 배심원 재판의 오판 확률을 다룬 Recherches sur la probabilité des jugements에서 같은 극한을 유도했고, 분포는 그의 이름을 얻었다. 그러나 이 분포가 실제 자료에 쓰이기 시작한 것은 60년 뒤 Bortkiewicz(1898)부터다.

정의 2.1 (Poisson 분포) $\lambda>0$에 대해 $P(X=k)=e^{-\lambda}\tfrac{\lambda^k}{k!}$, $k=0,1,2,\dots$인 분포를 Poisson 분포 $\mathrm{Poi}(\lambda)$라 한다.

$e^\lambda=\sum_k\lambda^k/k!$이므로 확률의 합은 1이다.

정리 2.2 (Poisson 분포의 적률) $X\sim\mathrm{Poi}(\lambda)$이면 $M_X(t)=\exp\bigl(\lambda(e^t-1)\bigr)$ ($t\in\R$)이고 $EX=\Var X=\lambda$.

증명 전략 mgf의 급수를 지수함수의 급수로 알아보고, 누율생성함수 $\log M$을 미분한다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

평균과 분산이 같다. 이것이 Poisson 모형을 자료로 시험하는 가장 간단한 기준이 된다(6절).

정리 2.3 (이항분포의 Poisson 극한) $n\to\infty$에서 $np_n\to\lambda>0$이면, 모든 $k$에 대해

$$\binom nkp_n^k(1-p_n)^{n-k}\ \longrightarrow\ e^{-\lambda}\frac{\lambda^k}{k!} .$$

증명 전략 pmf를 극한이 따로 보이는 네 인수로 쪼개고 인수마다 극한을 구한다 [T5]. 지수 꼴의 인수는 로그를 취해 급수 전개로 다룬다 [T8].

1. $\lambda_n=np_n$으로 쓰고 $\tbinom nk=\tfrac{n(n-1)\cdots(n-k+1)}{k!}$을 넣으면 다음과 같다.

   $$\binom nkp_n^k(1-p_n)^{n-k}=\frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\frac{\lambda_n^k}{k!}\cdot\Bigl(1-\frac{\lambda_n}n\Bigr)^{n}\cdot\Bigl(1-\frac{\lambda_n}n\Bigr)^{-k} .$$

2. 첫째 인수는 $k$개의 인수 $\tfrac{n-j}n$ ($j=0,\dots,k-1$)의 곱이다. $k$는 고정이고 각 인수가 1로 가므로 곱도 1로 간다.극한의 곱 [T5]

3. 둘째 인수는 $\lambda^k/k!$로 간다.$\lambda_n\to\lambda$

4. $0\le x\le\tfrac12$이면 $\log(1-x)=-x-\sum_{m\ge2}\tfrac{x^m}m$이고 $\sum_{m\ge2}\tfrac{x^m}m\le\tfrac{x^2}{2(1-x)}\le x^2$이다. $n$이 커서 $\lambda_n/n\le\tfrac12$이면

   $$\Bigl|n\log\Bigl(1-\frac{\lambda_n}n\Bigr)+\lambda_n\Bigr|\le\frac{\lambda_n^2}n\to0$$

   이므로 셋째 인수는 $e^{-\lambda}$로 간다.급수 전개 [T8], $\exp$의 연속성

5. 넷째 인수는 1로 가는 수 $1-\lambda_n/n$의 고정된 거듭제곱이므로 1로 간다.[T5]

6. 네 극한을 곱하면 $e^{-\lambda}\lambda^k/k!$이다.극한의 곱 [T5]

“드물고($p$ 작음), 기회가 많고($n$ 큼), 서로 무관한(독립)” 사건의 수가 Poisson이다. 얼마나 가까운지도 말할 수 있다. Le Cam(1960)은 $\mathrm b(n,p)$와 $\mathrm{Poi}(np)$의 차이(모든 사건에 대한 확률 차이의 최댓값)가 $np^2$ 이하임을 보였다. $n=100$, $p=0.02$이면 $0.04$ 이하이고 실제로는 $0.005$쯤이다. $n=20$, $p=0.4$처럼 $p$가 크면 이 어림은 쓸모가 없다(7절, 그림 2.1).

그림 2.1 같은 평균 $\lambda=2$의 이항분포(막대)와 Poisson 분포(원). $p$가 작을수록(오른쪽으로 갈수록) 가까워진다.

2.2 Poisson의 합과 나누기

정리 2.4 (독립인 Poisson의 합) $X_i\sim\mathrm{Poi}(\lambda_i)$가 독립이면 $\sum_iX_i\sim\mathrm{Poi}\bigl(\sum_i\lambda_i\bigr)$.

증명 전략 두 개의 합을 합성곱과 이항정리로 직접 구하고, 개수에 대한 귀납법으로 넓힌다 [T3]. mgf의 곱으로도 증명한다. 단계별 증명은 연습 2.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

이항과 달리 모수가 달라도 된다. 14개 군단 각각의 사망 수가 독립인 Poisson이면 군대 전체의 사망 수도 Poisson이다.

정리 2.5 (Poisson 나누기 (thinning)) $N\sim\mathrm{Poi}(\lambda)$이고, $N=n$일 때 각 사건이 독립적으로 확률 $p$로 “표시”된다고 하자. 표시된 수 $N_1$과 표시되지 않은 수 $N_2=N-N_1$은 독립이고 각각 $\mathrm{Poi}(\lambda p)$, $\mathrm{Poi}(\lambda q)$이다.

증명 전략 결합 pmf를 곱셈법칙으로 쓰고, 그것이 두 Poisson pmf의 곱으로 인수분해됨을 보인다. 인수분해가 곧 독립이다.

1. $\{N_1=a,\allowbreak \ N_2=b\}=\{N=a+b,\allowbreak \ N_1=a\}$이다.$N_2=N-N_1$

2. $N=n$이 주어지면 $N_1\sim\mathrm b(n,p)$이므로 $P(N_1=a,\allowbreak N_2=b)=P(N=a+b)\tbinom{a+b}ap^aq^b$이다.곱셈법칙, 1회 정리 5.3

3. pmf를 넣고 정리한다.

   $$\begin{align*} P(N_1=a,N_2=b)&=e^{-\lambda}\frac{\lambda^{a+b}}{(a+b)!}\cdot\frac{(a+b)!}{a!\,b!}p^aq^b \tag*{\htmlClass{reason}{\text{정의~\href{/read/04/2#def-poisson}{2.1}}}}\\ &=e^{-\lambda p}\frac{(\lambda p)^a}{a!}\cdot e^{-\lambda q}\frac{(\lambda q)^b}{b!} . \tag*{\htmlClass{reason}{\text{$e^{-\lambda}=e^{-\lambda p}e^{-\lambda q}$}}} \end{align*}$$

4. 결합 pmf가 $a$만의 함수와 $b$만의 함수의 곱이고, 두 인수가 각각 pmf이므로 $N_1\sim\mathrm{Poi}(\lambda p)$, $N_2\sim\mathrm{Poi}(\lambda q)$이고 둘은 독립이다.3회 정리 3.2

놀라운 결론이다. 전체 수가 정해져 있지 않고 Poisson이면, 두 종류의 수는 서로에 대해 아무 정보도 주지 않는다. 전체가 $n$으로 고정된 다항분포에서는 공분산이 $-np_ip_j$였던 것과 대조된다(정리 1.8).

2.3 Bortkiewicz의 기병대 (1898)

예제 2.6 (말에 차여 죽은 병사) Bortkiewicz는 14개 군단 20년, 곧 280개의 “군단–해”의 사망 수를 모았다. 그 가운데 조직이 다른 네 군단(근위대와 I, VI, XI 군단)을 뺀 10개 군단 200개의 군단–해가 R. A. Fisher의 Statistical Methods for Research Workers(1925)를 거쳐 유명해진 자료다(vcd::HorseKicks).

한 해 사망 수 $k$	0	1	2	3	4
관측한 군단–해	109	65	22	3	1
$200\cdot e^{-0.61}0.61^k/k!$	108.7	66.3	20.2	4.1	0.6

평균은 $\tfrac{122}{200}=0.61$이고, 그것을 $\lambda$로 넣은 Poisson의 기대 빈도가 아래 줄이다. 놀랄 만큼 맞는다. 분산은 $0.611$로 평균과 거의 같다(정리 2.2). 한 군단에서 한 해에 네 명 이상이 죽을 확률은 $P(X\ge4)\approx0.0036$, 200개 군단–해에 0.7번 정도이고, 실제로 한 번 있었다.

그림 2.2 왼쪽: Bortkiewicz–Fisher의 200개 군단–해(막대)와 $\mathrm{Poi}(0.61)$의 기대 빈도(원). 오른쪽: Student(1907)의 효모 세포 수, 네 농도마다 400칸.

예제 2.7 (Student의 효모 (1907)) 맥주 회사 Guinness의 화학자 W. S. Gosset(필명 Student)은 1907년, 혈구계(작은 칸으로 나뉜 유리판)의 400칸에서 효모 세포를 세었다. 세포가 액체 속에 고르게, 서로 무관하게 퍼져 있으면 한 칸의 세포 수는 Poisson이어야 한다(작은 칸 = 많은 작은 부피 가운데 세포가 드는 드문 사건). 네 농도의 분산/평균 비는 $1.19,\ 0.97,\ 1.09,\ 0.95$로 모두 1 가까이 있다(HistData::Yeast). Student는 이 분포를 이용해 “몇 칸을 세야 농도를 원하는 정밀도로 알 수 있는가”를 계산했다. 2회의 Bernoulli의 질문과 같은 질문이다.

연습문제

연습 2.1 (Poisson의 최빈값 ★) $\tfrac{P(X=k)}{P(X=k-1)}=\tfrac\lambda k$을 보이고, $\mathrm{Poi}(\lambda)$의 최빈값이 $\lfloor\lambda\rfloor$임을 결론지어라($\lambda$가 정수이면 $\lambda-1$과 $\lambda$ 둘).

풀이

$\tfrac{P(X=k)}{P(X=k-1)}=\tfrac{e^{-\lambda}\lambda^k/k!}{e^{-\lambda}\lambda^{k-1}/(k-1)!}=\tfrac\lambda k$. $k<\lambda$이면 1보다 커서 증가하고 $k>\lambda$이면 감소하므로 최빈값은 $\lfloor\lambda\rfloor$. $\lambda$가 정수이면 $k=\lambda$에서 비가 1이어서 $\lambda-1$과 $\lambda$가 같은 확률이다.

연습 2.2 (mgf로 극한을 ★★) $\mathrm b(n,\lambda/n)$의 mgf $\bigl(1+\tfrac\lambda n(e^t-1)\bigr)^n$이 $\exp(\lambda(e^t-1))$로 감을 보여라. (7회에서 “mgf가 수렴하면 분포도 수렴한다”는 정리로 이것이 정리 2.3의 다른 증명이 됨을 본다.)

풀이

$x_n=\lambda(e^t-1)$로 두면 $(1+x_n/n)^n\to e^{x_n}$이다($n\log(1+x/n)\to x$). 극한이 $\mathrm{Poi}(\lambda)$의 mgf다.

연습 2.3 (오탈자 ★) 한 쪽의 오탈자 수가 $\mathrm{Poi}(0.3)$이고 쪽마다 독립이다. 300쪽짜리 책에 오탈자가 하나도 없는 쪽은 몇 쪽쯤인가? 책 전체의 오탈자 수의 분포는?

풀이

오탈자가 없는 쪽의 수는 $\mathrm b(300,e^{-0.3})$이고 평균 $300e^{-0.3}\approx222$쪽. 책 전체의 오탈자 수는 정리 2.4으로 $\mathrm{Poi}(90)$.

연습 2.4 (조건부는 이항 ★★) $X_1\sim\mathrm{Poi}(\lambda_1)$과 $X_2\sim\mathrm{Poi}(\lambda_2)$가 독립이면, $X_1+X_2=n$일 때 $X_1$의 조건부분포가 $\mathrm b\bigl(n,\allowbreak \tfrac{\lambda_1}{\lambda_1+\lambda_2}\bigr)$임을 보여라. 정리 2.5의 거꾸로다.

풀이

$$P(X_1=k\mid X_1+X_2=n)=\frac{e^{-\lambda_1}\frac{\lambda_1^k}{k!}\,e^{-\lambda_2}\frac{\lambda_2^{n-k}}{(n-k)!}}{e^{-(\lambda_1+\lambda_2)}\frac{(\lambda_1+\lambda_2)^n}{n!}}=\binom nk\Bigl(\frac{\lambda_1}{\lambda_1+\lambda_2}\Bigr)^k\Bigl(\frac{\lambda_2}{\lambda_1+\lambda_2}\Bigr)^{n-k} .$$

분모는 정리 2.4이다.

연습 2.5 (네 명 이상 ★) 예제 2.6에서 $P(X\ge4)$와 $P(X\ge3)$을 $\mathrm{Poi}(0.61)$으로 계산하고, 200개 군단–해에서의 기대 횟수를 관측과 비교하라.

풀이

$P(X\ge3)=1-e^{-0.61}(1+0.61+0.186)\approx0.024$, $P(X\ge4)\approx0.0035$. 200개 군단–해의 기대 횟수는 각각 $4.8$과 $0.69$이고, 관측은 4($=3+1$)와 1이다.

연습 2.6 (Poisson 분포의 적률: 증명 ★ 유도형) $X\sim\mathrm{Poi}(\lambda)$이다. 정리 2.2를 다음 순서로 증명하라.

1. (a)

   $M(t)=\sum_ke^{tk}e^{-\lambda}\tfrac{\lambda^k}{k!}$을 $e^{x}=\sum_kx^k/k!$로 정리해 $M(t)=\exp(\lambda(e^t-1))$을 얻어라. 이 급수는 어느 $t$에서 수렴하는가?

2. (b)

   누율생성함수 $\psi=\log M$을 두 번 미분해 2회 따름정리 3.4로 평균과 분산을 얻어라.

3. (c)

   (직접 계산) $EX=\sum_kk\,e^{-\lambda}\tfrac{\lambda^k}{k!}$와 $E[X(X-1)]$을 첨자를 옮겨 계산하고, $\Var X=E[X(X-1)]+EX-(EX)^2$로 같은 답을 얻어라.

풀이

(a) $M(t)=e^{-\lambda}\sum_k\tfrac{(\lambda e^t)^k}{k!}=e^{-\lambda}e^{\lambda e^t}=\exp(\lambda(e^t-1))$이다. 지수함수의 급수는 모든 실수에서 수렴하므로 모든 $t$에서 정의된다. (b) $\psi(t)=\lambda(e^t-1)$이므로 $\psi'(t)=\psi''(t)=\lambda e^t$이고, $t=0$에서 $EX=\psi'(0)=\lambda$, $\Var X=\psi''(0)=\lambda$이다. (c) $k=0$인 항은 0이므로 $EX=\sum_{k\ge1}e^{-\lambda}\tfrac{\lambda^k}{(k-1)!}=\lambda\sum_{j\ge0}e^{-\lambda}\tfrac{\lambda^j}{j!}=\lambda$이다. 같은 방법으로 $E[X(X-1)]=\sum_{k\ge2}e^{-\lambda}\tfrac{\lambda^k}{(k-2)!}=\lambda^2$이므로 $\Var X=\lambda^2+\lambda-\lambda^2=\lambda$이다.

연습 2.7 (독립인 Poisson의 합: 증명 ★★ 유도형) 정리 2.4을 다음 순서로 증명하라.

1. (a)

   두 개일 때 $P(X_1+X_2=n)=\sum_{k=0}^nP(X_1=k)P(X_2=n-k)$에 pmf를 넣고, 이항정리(1회 정리 1.6)로 $e^{-(\lambda_1+\lambda_2)}\tfrac{(\lambda_1+\lambda_2)^n}{n!}$을 얻어라.

2. (b)

   개수 $m$에 대한 귀납법으로 $m$개의 합으로 넓혀라. $X_1+\cdots+X_{m}$과 $X_{m+1}$이 독립이라는 것은 어디서 나오는가?

3. (c)

   mgf의 곱으로 같은 결론을 한 줄로 얻어라. (a)–(b)와 비교해 mgf의 유일성이 무엇을 대신하는지 설명하라.

풀이

(a) 독립으로

$$P(X_1+X_2=n)=\sum_{k=0}^ne^{-\lambda_1}\frac{\lambda_1^k}{k!}e^{-\lambda_2}\frac{\lambda_2^{n-k}}{(n-k)!}=\frac{e^{-(\lambda_1+\lambda_2)}}{n!}\sum_{k=0}^n\binom nk\lambda_1^k\lambda_2^{n-k}=e^{-(\lambda_1+\lambda_2)}\frac{(\lambda_1+\lambda_2)^n}{n!} .$$

(b) $m$개의 합이 $\mathrm{Poi}(\lambda_1+\cdots+\lambda_m)$이라 하자. $X_1+\cdots+X_m$은 $(X_1,\dots,X_m)$의 함수이고 $X_{m+1}$은 그것들과 독립이므로 둘은 독립이다(3회의 “독립인 변수의 함수의 독립”). (a)를 두 변수에 쓰면 $m+1$개의 합이 $\mathrm{Poi}(\lambda_1+\cdots+\lambda_{m+1})$이다. (c) mgf의 곱은 $\prod_i\exp(\lambda_i(e^t-1))=\exp\bigl(\sum_i\lambda_i(e^t-1)\bigr)$이고, 유일성으로 분포가 정해진다. 합성곱으로 pmf를 직접 계산하는 일과 귀납을 mgf의 곱셈 한 번과 유일성 정리가 대신한다.

이 절을 PDF로 보기 (8쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례