4회 · 셈하는 분포와 섞인 분포 · 노트

1 Bernoulli 시행의 가족

성공 확률이 $p$인 독립 시행을 되풀이한다. 무엇을 세느냐에 따라 서로 다른 분포가 나온다. 정해진 $n$번 안의 성공 수(이항), 정해진 수의 성공까지의 실패 수(음이항), 그리고 되돌려 넣지 않고 뽑을 때의 성공 수(초기하)다. 결과가 둘이 아니라 여럿이면 다항분포가 된다.

1.1 이항분포, 다시

2회 정리 2.4에서 $K\sim\mathrm b(n,p)$이면 $P(K=k)=\tbinom nkp^kq^{n-k}$, $EK=np$, $\Var K=npq$, mgf $(q+pe^t)^n$이었다. 여기에 한 가지를 더한다.

정리 1.1 (이항분포의 합) $K_1\sim\mathrm b(n_1,p)$와 $K_2\sim\mathrm b(n_2,p)$가 독립이면 $K_1+K_2\sim\mathrm b(n_1+n_2,\allowbreak p)$.

증명 전략 독립합의 mgf는 mgf의 곱이다. 곱이 다시 이항의 mgf 꼴이 됨을 보이고 mgf의 유일성을 쓴다. 합성곱으로 직접 셀 수도 있다. 단계별 증명은 연습 1.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$p$가 같아야 한다. 확률이 다른 두 이항의 합은 이항이 아니다(연습 1.1).

1.2 음이항분포

정의 1.2 (음이항분포) 성공 확률 $p$인 독립 시행에서 $r$번째 성공이 나오기 전까지의 실패 수 $Y$의 분포를 음이항분포 $\mathrm{NB}(r,p)$라 한다. $r=1$이면 기하분포다(2회 예제 1.4의 “시행 수”에서 1을 뺀 것).

정리 1.3 (음이항분포의 pmf와 적률) $Y\sim\mathrm{NB}(r,p)$, $q=1-p$이면

$$\begin{gather*} P(Y=k)=\binom{k+r-1}{k}p^rq^k,\qquad k=0,1,2,\dots,\\ EY=\frac{rq}p,\qquad \Var Y=\frac{rq}{p^2},\qquad M_Y(t)=\Bigl(\frac p{1-qe^t}\Bigr)^r\quad(qe^t<1). \end{gather*}$$

증명 전략 pmf는 “마지막 시행이 $r$번째 성공”이라는 사건을 세어 구한다. 적률은 $Y$를 독립인 기하분포 $r$개의 합으로 쪼개고 독립합의 성질을 쓴다.

pmf

1. $\{Y=k\}$는 “처음 $k+r-1$번 가운데 성공이 정확히 $r-1$번이고 $(k+r)$번째가 성공”인 사건과 같다.$r$번째 성공의 정의

2. 앞부분의 확률은 $\tbinom{k+r-1}{r-1}p^{r-1}q^k$이다. 성공이 올 $r-1$개의 자리를 고르고, 자리가 정해진 결과 하나의 확률은 $p^{r-1}q^k$이다.2회 정리 2.4

3. $(k+r)$번째 시행은 앞의 시행들과 독립이므로 2에 $p$를 곱한다. $\tbinom{k+r-1}{r-1}=\tbinom{k+r-1}k$이다.독립, 1회 정리 5.11

적률

1. $G_1$을 첫 성공까지의 실패 수, $G_j$를 $(j-1)$번째와 $j$번째 성공 사이의 실패 수라 하면 $Y=G_1+\cdots+G_r$이다.정의

2. $G_1,\dots,G_r$은 독립이고 모두 $P(G=k)=q^kp$를 따른다. 각 $G_j$는 서로 겹치지 않는 시행들로 정해지고, 성공 하나 뒤에서 시행은 처음과 같은 꼴로 다시 시작한다.시행의 독립

3. 기하분포의 mgf는 $\sum_{k\ge0}q^kpe^{tk}=\tfrac p{1-qe^t}$ ($qe^t<1$)이다.기하급수 [T5]

4. $EG=\tfrac qp$, $\Var G=\tfrac q{p^2}$이다.2회 예제 1.4, 연습 2.3

5. 독립합이므로 평균과 분산은 $r$배, mgf는 $r$제곱이다.3회 정리 3.4

이름의 “음”은 pmf를 $\tbinom{-r}{k}p^r(-q)^k$로 쓸 수 있어서, 음수 지수의 이항급수 $(1-q)^{-r}=\sum_k\tbinom{-r}k(-q)^k$의 항이기 때문이다. 이 표현으로 $r$이 정수가 아니어도 pmf가 정의된다. 이때 $\tbinom{k+r-1}k$는 $\tfrac{\Gamma(k+r)}{k!\,\Gamma(r)}$로 읽는다(3절). 5절에서 실수 $r$의 음이항이 Poisson 분포를 섞어 나오는 것을 본다. 음이항의 분산 $\tfrac{rq}{p^2}=EY\cdot\tfrac1p$는 언제나 평균보다 크다. 과산포의 표준 모형이 된 이유다.

1.3 초기하분포

정의 1.4 (초기하분포) $N$개 가운데 $K$개가 “성공”인 모집단에서 $n$개를 되돌려 넣지 않고 뽑을 때 성공의 수 $X$의 분포를 초기하분포라 한다.

$$P(X=x)=\frac{\binom Kx\binom{N-K}{n-x}}{\binom Nn},\qquad \max(0,n-N+K)\le x\le\min(n,K).$$

$n$개짜리 부분집합이 모두 같은 확률이므로 1회 따름정리 4.10의 고전적 정의다. 성공 $x$개와 실패 $n-x$개를 고르는 방법을 센다.

정리 1.5 (초기하분포의 평균과 분산) $p=K/N$으로 두면

$$EX=np,\qquad \Var X=np(1-p)\cdot\frac{N-n}{N-1} .$$

증명 전략 $X$를 지시변수의 합으로 쪼갠다 [T1]. 평균은 선형성으로 구한다. 지시변수들은 독립이 아니므로 분산에는 공분산 항이 남는다.

1. $\mathbf 1_i$를 $i$번째로 뽑은 것이 성공이라는 지시변수라 하면 $X=\sum_{i=1}^n\mathbf 1_i$이다.지시함수 [T1]

2. 뽑는 순서의 대칭으로 $i$번째로 뽑은 것은 $N$개 가운데 고르게 하나다. 따라서 $P(\mathbf 1_i=1)=\tfrac KN=p$이고 $EX=np$이다.대칭, 기댓값의 선형성

3. $i\ne j$이면 $P(\mathbf 1_i\mathbf 1_j=1)=\tfrac KN\cdot\tfrac{K-1}{N-1}$이다.곱셈법칙, 1회 정리 5.3

4. 공분산을 계산한다.

   $$\Cov(\mathbf 1_i,\mathbf 1_j)=\frac{K(K-1)}{N(N-1)}-p^2=\frac KN\cdot\frac{N(K-1)-K(N-1)}{N(N-1)}=-\frac{p(1-p)}{N-1} .$$

   2 3

5. 분산은 공분산의 합이다.

   $$\begin{align*} \Var X&=\sum_i\Var\mathbf 1_i+\sum_{i\ne j}\Cov(\mathbf 1_i,\mathbf 1_j) \tag*{\htmlClass{reason}{\text{3회 정리 4.2(c)}}}\\ &=np(1-p)-n(n-1)\frac{p(1-p)}{N-1}=np(1-p)\frac{N-n}{N-1} . \tag*{\htmlClass{reason}{\text{\htmlClass{sref}{\text{4}}, $\Var\mathbf 1_i=p(1-p)$}}} \end{align*}$$

$\tfrac{N-n}{N-1}$을 유한 모집단 수정이라 한다. 되돌려 넣지 않으므로 뽑힌 것들이 서로 음의 상관을 가져 분산이 이항보다 작다(2회 연습 2.4의 에이스). $N$이 $n$보다 아주 크면 이 비는 1에 가깝고 초기하는 이항과 거의 같다. 여론조사에서 5,000만 명 가운데 1,000명을 뽑을 때 되돌려 넣는지를 걱정하지 않는 이유다. 반대로 $n=N$이면 분산이 0이다. 전수조사에는 표본 오차가 없다.

예제 1.6 (물고기 세기 — 포획–재포획) 호수의 물고기 $N$마리 가운데 $K=200$마리를 잡아 표시하고 놓아준다. 나중에 $n=100$마리를 잡았더니 $x=16$마리가 표시되어 있었다. $X$는 초기하분포를 따르고 $EX=nK/N$이므로, $x=nK/N$을 풀면 $\hat N=\tfrac{nK}x=1250$이다(Petersen 1896). 8회 이후의 “추정”의 첫 예다. 연습 1.5에서 이것이 가능도를 최대로 하는 $N$과 거의 같음을 본다.

1.4 다항분포

정의 1.7 (다항분포) 한 번의 시행 결과가 $m$개의 범주 가운데 하나이고 범주 $j$의 확률이 $p_j$($\sum p_j=1$)일 때, 독립 시행 $n$번에서 범주별 횟수 $\X=(X_1,\dots,X_m)$의 분포를 다항분포 $\mathrm{Mult}(n;p_1,\allowbreak \dots,\allowbreak p_m)$라 한다.

$$P(X_1=x_1,\dots,X_m=x_m)=\frac{n!}{x_1!\cdots x_m!}\,p_1^{x_1}\cdots p_m^{x_m},\qquad \sum_jx_j=n .$$

계수는 $n$번의 시행에 범주 이름을 붙이는 방법의 수다. $x_1$개 자리를 고르고($\tbinom n{x_1}$), 남은 자리에서 $x_2$개를 고르고, … 곱하면 이 다항계수가 된다.

정리 1.8 (다항분포의 주변과 공분산) $X_j\sim\mathrm b(n,p_j)$이고, $i\ne j$이면 $\Cov(X_i,X_j)=-np_ip_j$이다.

증명 전략 범주를 “$j$와 나머지”로 묶으면 각 시행이 Bernoulli가 된다. 공분산은 두 범주를 하나로 묶은 합의 분산에서 꺼낸다. 단계별 증명은 연습 1.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

합이 $n$으로 고정되어 있으므로 한 범주가 많으면 다른 범주는 적다. 그래서 공분산이 음이다. 8회의 $\chi^2$ 적합도 검정(Weldon의 주사위, Pearson 1900)이 이 분포 위에 선다.

연습문제

연습 1.1 (확률이 다르면 ★) $K_1\sim\mathrm b(1,0.1)$과 $K_2\sim\mathrm b(1,0.9)$가 독립이다. $K_1+K_2$의 분포를 구하고, 같은 평균의 $\mathrm b(2,0.5)$와 비교하라. 분산은 어느 쪽이 작은가?

풀이

$P(0)=0.9\cdot0.1=0.09$, $P(1)=0.1\cdot0.1+0.9\cdot0.9=0.82$, $P(2)=0.09$. 평균은 1로 $\mathrm b(2,0.5)$와 같지만 분산은 $0.1\cdot0.9+0.9\cdot0.1=0.18$로 $0.5$보다 훨씬 작다. 확률이 서로 다른 시행의 합은 같은 평균의 이항보다 덜 흩어진다(과소산포).

연습 1.2 (Banach의 성냥갑 ★★) 성냥갑 두 개에 성냥이 $N$개씩 있다. 매번 공평한 동전으로 한 갑을 골라 성냥을 하나 쓴다. 처음으로 빈 갑을 골랐을 때 다른 갑에 $k$개가 남아 있을 확률이 $\tbinom{2N-k}{N}2^{-(2N-k)}$임을 음이항분포로 보여라.

풀이

갑 A를 “성공”, B를 “실패”로 보자. A가 비었다는 것을 처음 알게 되는 순간은 A가 $N+1$번째로 선택된 때이고, 그때 B에 $k$개가 남았다면 B는 $N-k$번 선택되었다. 그 전까지의 실패 수 $N-k$가 $\mathrm{NB}(N+1,\tfrac12)$의 값이므로 확률은 $\tbinom{(N-k)+N}{N-k}2^{-(2N-k+1)}$. B가 먼저 비는 경우가 대칭으로 같으므로 2배 하면 $\tbinom{2N-k}N2^{-(2N-k)}$.

연습 1.3 (음이항의 적률 ★) 정리 1.3의 mgf를 미분해 평균과 분산을 다시 구하라.

풀이

$\psi(t)=r\log p-r\log(1-qe^t)$. $\psi'(t)=\tfrac{rqe^t}{1-qe^t}$에서 $\psi'(0)=\tfrac{rq}p$. $\psi''(t)=\tfrac{rqe^t}{(1-qe^t)^2}$에서 $\psi''(0)=\tfrac{rq}{p^2}$.

연습 1.4 (로또와 초기하 ★) 45개 가운데 6개를 고르는 로또에서 내가 고른 6개 가운데 당첨 번호의 수 $X$는 초기하분포다. $EX$와 $\Var X$를 구하고, 정확히 3개가 맞을 확률을 구하라.

풀이

$N=45$, $K=6$, $n=6$, $p=\tfrac6{45}$. $EX=0.8$, $\Var X=6\cdot\tfrac6{45}\cdot\tfrac{39}{45}\cdot\tfrac{39}{44}\approx0.615$. $P(X=3)=\tfrac{\tbinom63\tbinom{39}3}{\tbinom{45}6}=\tfrac{20\cdot9139}{8{,}145{,}060}\approx0.0224$.

연습 1.5 (포획–재포획의 가능도 ★★) 예제 1.6에서 $L(N)=P_N(X=16)$을 $N$의 함수로 보자. $\tfrac{L(N)}{L(N-1)}\ge1$일 필요충분조건이 $N\le\tfrac{nK}x$임을 보이고, $L$을 최대로 하는 $N$이 $\lfloor nK/x\rfloor=1250$임을 결론지어라.

풀이

$$\frac{L(N)}{L(N-1)}=\frac{(N-K)(N-n)}{N(N-K-n+x)}$$

이고(이항계수를 전개해 소거), 이것이 1 이상이라는 부등식을 전개하면 $N^2-(K+n)N+Kn\ge N^2-(K+n)N+xN$, 곧 $N\le\tfrac{nK}x$이다. 따라서 $L$은 $N\le1250$에서 증가, 그 뒤 감소하고 최대는 $N=1250$이다. 비가 정확히 1이면 1249와 1250이 같은 값이다.

연습 1.6 (다항의 조건부 ★★) $(X_1,\allowbreak X_2,\allowbreak X_3)\sim\mathrm{Mult}(n;p_1,\allowbreak p_2,\allowbreak p_3)$일 때 $X_1=x$가 주어지면 $X_2$의 조건부분포가 $\mathrm b\bigl(n-x,\allowbreak \tfrac{p_2}{p_2+p_3}\bigr)$임을 보여라.

풀이

$$P(X_2=y\mid X_1=x)=\frac{\frac{n!}{x!\,y!\,(n-x-y)!}p_1^xp_2^yp_3^{n-x-y}}{\binom nxp_1^x(1-p_1)^{n-x}}=\binom{n-x}y\Bigl(\frac{p_2}{p_2+p_3}\Bigr)^y\Bigl(\frac{p_3}{p_2+p_3}\Bigr)^{n-x-y},$$

$1-p_1=p_2+p_3$을 썼다. 범주 1이 아닌 $n-x$번의 시행이 범주 2와 3으로 나뉘는 것이다.

연습 1.7 (이항분포의 합: 증명 ★ 유도형) 정리 1.1을 두 가지로 증명하라.

1. (a)

   (mgf) $K_1+K_2$의 mgf가 $(q+pe^t)^{n_1+n_2}$임을 보여라. 어느 정리로 mgf를 곱하는가?

2. (b)

   mgf의 유일성을 쓰려면 두 mgf가 0을 포함하는 열린구간에서 같아야 한다. 여기서는 어느 구간에서 같은가?

3. (c)

   (합성곱) $P(K_1+K_2=m)=\sum_jP(K_1=j)P(K_2=m-j)$에 pmf를 넣고, Vandermonde 항등식 $\sum_j\tbinom{n_1}j\tbinom{n_2}{m-j}=\tbinom{n_1+n_2}m$을 세기로 증명해 결론을 얻어라.

4. (d)

   두 증명이 각각 $p$가 같다는 가정을 어디서 쓰는지 밝혀라.

풀이

(a) 2회 정리 2.4로 $\mathrm b(n_i,p)$의 mgf는 $(q+pe^t)^{n_i}$이고, 독립합의 mgf는 곱이다(3회 정리 3.4(d)). 곱은 $(q+pe^t)^{n_1+n_2}$, 곧 $\mathrm b(n_1+n_2,p)$의 mgf다. (b) 두 mgf는 모든 실수 $t$에서 정의되고 같으므로 0을 포함하는 어떤 열린구간에서도 같다. 2회 3.3절의 상자(mgf의 유일성)로 분포가 같다. (c) $m$개의 공을 남자 $n_1$명과 여자 $n_2$명의 모임에서 고르는 방법 $\tbinom{n_1+n_2}m$을 고른 남자의 수 $j$로 나누면 $\sum_j\tbinom{n_1}j\tbinom{n_2}{m-j}$이다. 그러면

$$\begin{align*} P(K_1+K_2=m)&=\sum_j\binom{n_1}jp^jq^{n_1-j}\binom{n_2}{m-j}p^{m-j}q^{n_2-m+j}\\ &=p^mq^{n_1+n_2-m}\sum_j\binom{n_1}j\binom{n_2}{m-j}=\binom{n_1+n_2}mp^mq^{n_1+n_2-m} . \end{align*}$$

(d) (a)에서는 두 mgf의 밑 $q+pe^t$가 같아야 곱이 한 거듭제곱이 된다. (c)에서는 $p^jp^{m-j}=p^m$으로 묶을 때 쓴다. $p$가 다르면 두 곳 모두 묶이지 않는다.

연습 1.8 (다항분포의 주변과 공분산: 증명 ★★ 유도형) $\X\sim\mathrm{Mult}(n;p_1,\allowbreak \dots,\allowbreak p_m)$이다. 정리 1.8를 다음 순서로 증명하라.

1. (a)

   각 시행을 “범주 $j$”와 “나머지”로 나눠 $X_j\sim\mathrm b(n,p_j)$를 보여라.

2. (b)

   $i\ne j$이면 같은 방법으로 $X_i+X_j\sim\mathrm b(n,\allowbreak p_i+p_j)$를 보여라.

3. (c)

   $\Var(X_i+X_j)=\Var X_i+\Var X_j+2\Cov(X_i,\allowbreak X_j)$에 (a)(b)를 넣어 $\Cov(X_i,X_j)=-np_ip_j$를 얻어라.

4. (d)

   (다른 증명) $t$번째 시행이 범주 $i$이면 1인 지시변수 $\mathbf 1_{t,i}$로 $X_i=\sum_t\mathbf 1_{t,i}$로 쓰고, 같은 시행에서 $\Cov(\mathbf 1_{t,i},\allowbreak \mathbf 1_{t,j})=-p_ip_j$, 다른 시행에서 0임을 써서 같은 결론을 얻어라.

풀이

(a) 각 시행에서 “범주 $j$”의 확률은 $p_j$이고 시행들은 독립이므로, 범주 $j$가 나온 횟수는 성공 확률 $p_j$인 $n$번의 독립 시행의 성공 수다. 곧 $X_j\sim\mathrm b(n,p_j)$이다. (b) “범주 $i$ 또는 $j$”를 성공으로 보면 확률은 $p_i+p_j$이다(서로소인 사건). 같은 논리로 $X_i+X_j\sim\mathrm b(n,\allowbreak p_i+p_j)$이다. (c) $\Var(X_i+X_j)=\Var X_i+\Var X_j+2\Cov(X_i,\allowbreak X_j)$에서

$$2\Cov(X_i,X_j)=n(p_i+p_j)(1-p_i-p_j)-np_i(1-p_i)-np_j(1-p_j)=-2np_ip_j .$$

(d) 한 시행은 한 범주에만 속하므로 $\mathbf 1_{t,i}\mathbf 1_{t,j}=0$이고 $\Cov(\mathbf 1_{t,i},\allowbreak \mathbf 1_{t,j})=0-p_ip_j$이다. 다른 시행 $t\ne s$의 지시변수는 독립이므로 공분산이 0이다. 공분산의 이중선형성(3회 정리 4.2)으로 $\Cov(X_i,\allowbreak X_j)=\sum_t\Cov(\mathbf 1_{t,i},\allowbreak \mathbf 1_{t,j})=-np_ip_j$이다.

이 절을 PDF로 보기 (3쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례