4회 · 셈하는 분포와 섞인 분포 · 노트

7 부숴보기 — 가족의 경계

7.1 Poisson인 척하는 음이항

과산포가 작으면 음이항과 Poisson은 눈으로 구별되지 않는다. 그런데 꼬리에서는 크게 다르다. 평균이 같은 $\mathrm{Poi}(2)$와 $\mathrm{NB}(r=4,\ p=\tfrac23)$ (분산 3)에서 10 이상이 나올 확률은 각각 $4.6\times10^{-5}$와 $1.6\times10^{-3}$, 약 35배 차이다. 보험의 큰 손해, 서버의 순간 폭주, 유전자 발현량의 이상치처럼 드문 큰 값이 중요한 문제에서, 평균만 보고 Poisson을 쓰면 위험을 크게 얕잡는다. 분산 지수 $D$를 먼저 보는 습관이 필요한 이유다.

7.2 Poisson 근사가 틀릴 때

정리 2.3은 $p\to0$을 요구한다. $\mathrm b(20,0.4)$를 $\mathrm{Poi}(8)$로 어림하면 두 분포의 차이(전변동 거리)가 $0.12$로 쓸모가 없다. 이항의 분산 $npq=4.8$은 Poisson의 분산 $8$보다 훨씬 작다. 이항은 “기회의 수 $n$이 상한”이라 과소산포이고, $p$가 크면 그 차이가 드러난다. Poisson은 “기회는 사실상 무한하고 각 기회는 아주 드물다”는 모형이다.

7.3 무기억성은 지수와 기하뿐

정리 3.3에 따르면 연속분포 가운데 무기억성을 갖는 것은 지수분포뿐이다. 감마분포 $\Gamma(\alpha,\beta)$에서 $\alpha>1$이면 이미 기다린 시간이 길수록 남은 시간이 짧아지고(“닳는다”), $\alpha<1$이면 길어진다(“살아남은 것은 더 오래 산다”). 기계의 수명, 사람의 수명, 실직 기간을 지수분포로 모형화하면 이 차이를 잃는다. 생존분석의 위험함수 $h(t)=f(t)/(1-F(t))$가 상수인 것이 지수분포다(연습 7.2).

7.4 혼합은 이름표를 잃는다

정규 두 개의 혼합 $\pi\N(\mu_1,\allowbreak \sigma^2)+(1-\pi)\N(\mu_2,\allowbreak \sigma^2)$에서 $(\pi,\mu_1,\mu_2)$와 $(1-\pi,\mu_2,\mu_1)$은 똑같은 분포를 준다. 자료만으로는 어느 성분이 “첫째”인지 알 수 없다(이름표 바꾸기). 더 나쁘게는, 두 평균이 표준편차의 두 배보다 가까우면 혼합의 밀도는 봉우리가 하나뿐이어서(연습 7.3), 한 정규인지 두 정규의 혼합인지 눈으로는 구별할 수 없다. Pearson의 게가 정말 두 아종이었는지는 끝내 결론이 나지 않았다. 적률법이든 최대가능도든, 혼합 모형의 추정은 이 근본적인 어려움을 안고 있다(10회).

연습문제

연습 7.1 (꼬리의 차이 ★) $\mathrm{Poi}(2)$와 $\mathrm{NB}(4,\tfrac23)$의 평균과 분산을 확인하고, 노트북으로 $P(X\ge10)$을 각각 구하라.

풀이

$\mathrm{NB}(4,\tfrac23)$의 평균은 $\tfrac{4\cdot1/3}{2/3}=2$, 분산은 $\tfrac{4/3}{4/9}=3$. $P(X\ge10)$은 Poisson $4.6\times10^{-5}$, 음이항 $1.6\times10^{-3}$(노트북).

연습 7.2 (위험함수 ★★) $h(t)=f(t)/(1-F(t))$를 위험함수라 한다. 지수분포에서 $h$가 상수임을 보이고, $\Gamma(2,1)$에서는 $h(t)=\tfrac t{1+t}$로 증가함을 보여라.

풀이

지수: $h=\tfrac{\lambda e^{-\lambda t}}{e^{-\lambda t}}=\lambda$. $\Gamma(2,1)$: $f=te^{-t}$, $1-F=(1+t)e^{-t}$(부분적분)이므로 $h=\tfrac t{1+t}$, 증가하며 1로 간다.

연습 7.3 (두 봉우리의 조건 ★★★) $\tfrac12\N(-\delta,\allowbreak 1)+\tfrac12\N(\delta,\allowbreak 1)$의 밀도가 $x=0$에서 극소가 될 필요충분조건이 $\delta>1$임을 보여라. (힌트: $x=0$에서의 2차 미분의 부호.) 두 평균의 거리가 표준편차의 두 배를 넘어야 봉우리가 둘이 된다.

풀이

$f(x)\propto e^{-(x-\delta)^2/2}+e^{-(x+\delta)^2/2}$. 대칭이므로 $f'(0)=0$이고, $\tfrac{d^2}{dx^2}e^{-(x-\delta)^2/2}=\bigl((x-\delta)^2-1\bigr)e^{-(x-\delta)^2/2}$이므로 $f''(0)\propto2(\delta^2-1)e^{-\delta^2/2}$. $\delta>1$이면 $f''(0)>0$, 곧 0이 극소이고 봉우리가 둘이다.

이 절을 PDF로 보기 (31쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례