4회 · 셈하는 분포와 섞인 분포 · 노트

6 데이터로 — 말발굽, 효모, 그리고 may

모형이 맞는지는 자료가 말한다. 이 절은 세 원자료에 Poisson 모형을 맞추고, 평균과 분산의 비교라는 가장 간단한 진단으로 모형을 시험한다. 정식 검정(카이제곱 적합도 검정)은 8회에서 한다.

6.1 적률을 맞추기

Poisson 모형에는 모수가 $\lambda$ 하나이고 $EX=\lambda$이므로, 자연스러운 추정은 표본평균 $\hat\lambda=\bar x$이다. 음이항에는 모수가 둘이므로 평균과 분산 두 적률을 맞춘다. 정리 1.3에서 $EX=\tfrac{rq}p$, $\Var X=\tfrac{EX}p$이므로

$$\hat p=\frac{\bar x}{s^2},\qquad \hat r=\frac{\bar x\,\hat p}{1-\hat p}$$

이다($s^2$는 표본분산). 모형의 적률과 표본의 적률을 같게 놓는 이 방법이 Pearson(1894)의 적률법이다. 9회에서 이것을 최대가능도와 비교한다.

정의 6.1 (분산/평균 비) 음이 아닌 정수값 자료의 $D=s^2/\bar x$를 분산 지수(index of dispersion)라 한다. Poisson이면 1 근처, 과산포면 1보다 크고, 과소산포(규칙적인 배치)면 1보다 작다.

$D$는 2회 6.6절의 Lexis 분산비와 같은 생각이다. 표본 크기가 $n$이면 Poisson 모형 아래 $(n-1)D$는 근사적으로 $\chi^2(n-1)$을 따른다(8회). 그러면 $D$의 표준오차는 대략 $\sqrt{2/(n-1)}$이고, $n=200$이면 $0.1$이다.

6.2 세 자료

자료	$n$	$\bar x$	$s^2$	$D$	읽기
기병대, Fisher의 10개 군단	200	0.610	0.611	1.00	Poisson과 거의 완벽하게 맞는다
기병대, 14개 군단 전체	280	0.700	0.763	1.09	군단 사이의 차이가 조금 더해진다
효모, 농도 A–D	400씩	0.68–4.68	—	0.95–1.19	고르게 섞인 액체
The Federalist의 may	262	0.656	1.008	1.54	과산포. 음이항이 낫다

예제 6.2 (14개 군단 — 혼합의 흔적) Bortkiewicz의 14개 군단 전체(280개 군단–해)에서는 $D=1.09$이다. 군단마다 20년의 사망 합계를 보면 VIII 군단은 7명, XI 군단은 25명이다. 모든 군단의 위험률이 같다면 군단 합계는 같은 Poisson을 따라야 한다. 그 산포를 재는 $\sum_c(T_c-\bar T)^2/\bar T$는 $27.3$이고, 자유도 13의 $\chi^2$ 아래에서 이만큼 클 확률은 약 $0.011$이다(8회). 군단마다 위험률이 다르다는 증거, 곧 혼합(정리 5.2)의 흔적이다. Bortkiewicz가 조직이 다른 네 군단(근위대, I, VI, XI)을 따로 다룬 이유가 여기 있다. 남은 10개 군단에서는 $D=1.00$이다.

예제 6.3 (Madison의 may — 과산포) Mosteller와 Wallace(1963)는 저자가 논란이던 The Federalist 12편이 Hamilton의 것인지 Madison의 것인지 가리려고, 두 사람의 확실한 글에서 기능어의 빈도를 셌다. Madison의 글을 일정한 길이의 조각 262개로 나눠 may의 수를 세면 0이 156번, 1이 63번, 2가 29번, … 6이 1번이다(vcd::Federalist). 평균은 $0.656$인데 분산은 $1.008$이다. Poisson의 기대 빈도는 0의 개수를 136으로 적게, 4 이상을 1.2로 적게 예측한다. 적률로 맞춘 음이항 $\mathrm{NB}(\hat r=1.23,\allowbreak \hat p=0.651)$은 0을 155, 4 이상을 5.4로 예측해 관측(156, 6)에 훨씬 가깝다. 같은 저자라도 주제에 따라 may를 쓰는 비율이 다르다. 조각마다 위험률이 다른 Poisson, 곧 정리 5.3의 그림이다. Mosteller와 Wallace는 바로 이 음이항 모형으로 12편 모두가 Madison의 글이라는 결론을 냈다.

그림 6.1 왼쪽: Madison의 may 수(막대), Poisson(원)과 음이항(×)의 기대 빈도. 오른쪽: 14개 군단의 20년 사망 합계. 회색 띠는 모든 군단이 같은 위험률이라는 모형 아래 $\pm2$ 표준편차다.

연습문제

연습 6.1 (효모의 농도 ★) 효모 표본 D의 칸당 평균은 4.68이다. Poisson 모형에서 400칸의 평균의 표준오차는? 농도를 $\pm1\%$ 안으로 알려면 몇 칸을 세야 하나(2배 표준오차 기준)?

풀이

표준오차 $\sqrt{4.68/400}\approx0.108$. $2\sqrt{4.68/n}\le0.0468$에서 $n\ge\tfrac{4\cdot4.68}{0.0468^2}\approx8{,}550$칸.

연습 6.2 (적률법 ★) may 자료의 $\bar x=0.656$, $s^2=1.008$로 음이항의 $\hat p$, $\hat r$을 계산하고, 정리 5.3의 감마 혼합의 모수 $\hat\beta$를 구하라.

풀이

$\hat p=\tfrac{0.656}{1.008}\approx0.651$, $\hat r=\tfrac{0.656\cdot0.651}{0.349}\approx1.22$. $p=\tfrac1{1+\beta}$이므로 $\hat\beta=\tfrac1{\hat p}-1\approx0.54$.

연습 6.3 (0의 개수 ★★) Poisson 모형에서 $P(X=0)=e^{-\lambda}$이다. may 자료의 0의 비율 $\tfrac{156}{262}$로 $\lambda$를 추정하면 얼마인가? 평균으로 추정한 $0.656$과 왜 다른가? 두 추정이 다르다는 것 자체가 무엇의 증거인가?

풀이

$\hat\lambda_0=-\log\tfrac{156}{262}\approx0.52$. 평균으로 추정한 $0.656$보다 작다. Poisson 모형이 맞다면 두 추정은 같은 $\lambda$를 향해야 한다. 0이 “평균이 말하는 것보다 많다”는 것은 과산포의 다른 얼굴이고, 음이항(같은 평균에서 0의 확률이 Poisson보다 크다)이 그것을 설명한다.

이 절을 PDF로 보기 (28쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례