8회 · 추론의 기초 · 노트

5 $\chi^2$χ² 검정 — Pearson (1900)과 Fisher (1922)

역사 Karl Pearson은 1900년 Philosophical Magazine에 “상관된 변수들의 계에서 관측된 편차가 무작위 표집에서 생겼다고 합리적으로 볼 수 있는지 판정하는 기준”을 발표했다. 관측도수와 기대도수의 차이를 하나의 수 $\chi^2$로 모으고 그 분포를 유도한 것이다. 첫 예가 Weldon의 주사위(2회 2절)였다. 그런데 Pearson은 모수를 자료에서 추정해도 자유도가 줄지 않는다고 보았다. 젊은 Fisher는 1922년 분할표에서, 1924년 일반적으로 자유도가 추정한 모수의 수만큼 준다는 것을 보였다. Pearson은 끝내 받아들이지 않았고, 두 사람의 불화는 평생 이어졌다.

5.1 Pearson의 정리

$n$번의 독립 시행이 $k$개의 범주 가운데 하나로 떨어지고 범주 $j$의 확률이 $p_j$이면, 범주별 개수 $\mathbf N=(N_1,\dots,N_k)$는 다항분포다(4회 1절).

정리 5.1 (Pearson의 $\chi^2$) $H_0:\mathbf p=\mathbf p^0$ (모든 $p^0_j>0$)가 참이면

$$X^2=\sum_{j=1}^k\frac{(N_j-np^0_j)^2}{np^0_j}\ \xrightarrow{D}\ \chi^2(k-1)\qquad(n\to\infty).$$

증명 전략 $X^2$를 한 벡터의 길이의 제곱으로 쓴다. 그 벡터의 정규 극한이 $(k-1)$차원 공간으로의 사영임을 보이고, 회전해 $\chi^2(k-1)$을 읽는다.

1. $D=\mathrm{diag}(\mathbf p^0)$, $\mathbf V_n=D^{-1/2}\sqrt n(\hat{\mathbf p}-\mathbf p^0)$로 두면 $X^2=\|\mathbf V_n\|^2$이다.$\hat p_j=N_j/n$을 대입

2. $\sqrt n(\hat{\mathbf p}-\mathbf p^0)\xrightarrow{D}\N_k(\mathbf 0,\allowbreak \ D-\mathbf p^0\mathbf p^{0\prime})$이다.다항분포의 CLT, 7회 예제 5.3

3. $\mathbf u=\bigl(\sqrt{p^0_1},\allowbreak \dots,\allowbreak \sqrt{p^0_k}\bigr)\T$로 두면 $\|\mathbf u\|=1$이고 $D^{-1/2}(D-\mathbf p^0\mathbf p^{0\prime})D^{-1/2}=I-\mathbf u\mathbf u\T$이므로

   $$\mathbf V_n\xrightarrow{D}\N_k(\mathbf 0,\ I-\mathbf u\mathbf u\T) .$$

   연속사상(7회 2.3절), 5회 정리 3.8

4. $P=I-\mathbf u\mathbf u\T$는 대칭이고 $P^2=P$인 사영행렬이다. $\mathbf Z\sim\N_k(\mathbf 0,\allowbreak I)$이면 $P\mathbf Z\sim\N_k(\mathbf 0,\allowbreak PP\T)=\N_k(\mathbf 0,\allowbreak P)$이므로 3의 극한은 $P\mathbf Z$의 분포다.연습 5.2, 5회 정리 3.8

5. 첫 열이 $\mathbf u$인 직교행렬 $Q$를 잡고 $\mathbf W=Q\T\mathbf Z\sim\N_k(\mathbf 0,\allowbreak I)$로 두면 $W_1=\mathbf u\T\mathbf Z$, $\|\mathbf W\|=\|\mathbf Z\|$이므로

   $$\|P\mathbf Z\|^2=\|\mathbf Z\|^2-(\mathbf u\T\mathbf Z)^2=\sum_{i=2}^kW_i^2\sim\chi^2(k-1) .$$

   4회 정리 3.9

6. $\mathbf v\mapsto\|\mathbf v\|^2$은 연속이므로 $X^2=\|\mathbf V_n\|^2\xrightarrow{D}\|P\mathbf Z\|^2\sim\chi^2(k-1)$이다.연속사상, 7회 2.3절의 상자

조건 확인 모든 $p^0_j>0$이어야 $D^{-1/2}$가 정의된다. 5의 회전은 6회 Helmert 회전과 같은 논증이다. 확률이 0인 범주가 있으면 그 범주를 빼고 $k$를 줄인다.

자유도 $k-1$은 “비율의 합이 1”이라는 제약 하나 때문이다. $\mathbf V_n$은 언제나 $\mathbf u\T\mathbf V_n=\sum(N_j-np^0_j)/\sqrt n=0$을 만족해 $\mathbf u$ 방향의 성분이 없다. 6회의 $S^2$가 $\sum(X_i-\bar X)=0$ 때문에 자유도 $n-1$을 가졌던 것과 같다.

가정 주의 정리는 극한이다. 기대도수 $np^0_j$가 작으면 근사가 나빠진다. Cochran(1954)의 경험칙은 “모든 기대도수가 1 이상이고 80% 이상이 5 이상”이다. 작은 칸은 이웃 칸과 합친다. 7절에서 이 규칙을 어기면 크기가 얼마나 틀리는지 본다.

5.2 모수를 추정하면 — Fisher의 자유도

실제로는 $\mathbf p^0$가 완전히 정해지지 않고 모수 $\boldsymbol\eta\in\R^m$에 의존하는 경우가 많다(“이 자료는 어떤 정규분포를 따르는가”). 그러면 $\boldsymbol\eta$를 자료에서 추정하고 $\hat p_j=p_j(\hat{\boldsymbol\eta})$로 기대도수를 만든다.

증명 없이 쓰는 사실 (추정한 모수만큼 자유도가 준다) $\boldsymbol\eta$를 범주별 개수로부터 최대가능도(9회)나 최소 $\chi^2$로 추정하면, 정칙조건 아래 $X^2=\sum_j\tfrac{(N_j-n\hat p_j)^2}{n\hat p_j}\xrightarrow{D}\chi^2(k-1-m)$이다(Fisher 1924; 증명은 Cramér 1946, 30장). 기하학적으로는 추정이 $\mathbf V_n$을 $m$차원 접공간 쪽으로 한 번 더 사영해 그 차원만큼 없앤다. 주의: 모수를 범주로 묶기 전의 원자료로 추정하면 극한은 $\chi^2(k-1-m)$과 $\chi^2(k-1)$ 사이에 있다(Chernoff–Lehmann, 1954).

5회 예제 1.6의 Quetelet 가슴둘레는 칸 13개(기대도수가 작은 양 끝을 합친 뒤)에 정규의 두 모수를 추정했으므로 자유도가 $13-1-2=10$이다.

5.3 분할표의 독립성

두 범주형 변수(성별과 합격 여부, 머리색과 눈색)를 $r\times c$ 표로 센다. 칸 $(i,j)$의 확률이 $p_{ij}$이고 $H_0$는 독립, 곧 $p_{ij}=p_{i\cdot}p_{\cdot j}$이다.

따름정리 5.2 (독립성 검정) $H_0$ 아래에서 $E_{ij}=\tfrac{N_{i\cdot}N_{\cdot j}}n$ (행합과 열합의 곱을 총합으로 나눈 것)에 대해

$$X^2=\sum_{i=1}^r\sum_{j=1}^c\frac{(N_{ij}-E_{ij})^2}{E_{ij}}\ \xrightarrow{D}\ \chi^2\bigl((r-1)(c-1)\bigr).$$

증명 칸은 $k=rc$개이고, 독립 모형의 모수는 행의 주변확률 $r-1$개와 열의 주변확률 $c-1$개다(합이 1이므로 하나씩 덜). 그 최대가능도 추정값이 $\hat p_{i\cdot}=N_{i\cdot}/n$, $\hat p_{\cdot j}=N_{\cdot j}/n$이다(9회). 위 상자로 자유도는 $rc-1-(r-1)-(c-1)=(r-1)(c-1)$.

Pearson은 이 경우에도 자유도를 $rc-1$로 썼다. $2\times2$ 표라면 Pearson의 3과 Fisher의 1의 차이다. 같은 $X^2=3.84$를 Pearson의 자유도로 읽으면 $p=0.28$, Fisher의 자유도로 읽으면 $p=0.05$이다. 누가 옳은지는 시뮬레이션으로 판정할 수 있다(노트북, 그림 5.1).

그림 5.1 왼쪽: 공평한 주사위 60번의 $X^2$ (5천 번 반복)와 $\chi^2(5)$. 가운데: 독립인 $3\times3$ 표($n=300$)에서 주변확률을 추정한 $X^2$와 $\chi^2(4)$(Fisher, 빨강), $\chi^2(8)$(Pearson, 점선). 오른쪽: 같은 시뮬레이션의 $p$-값. Fisher의 자유도로 계산하면 균등하고, Pearson의 자유도로 계산하면 1 쪽으로 몰린다(검정이 지나치게 보수적).

연습문제

연습 5.1 (두 범주이면 ★) $k=2$이면 $X^2=\tfrac{(N_1-np_1)^2}{np_1p_2}=Z^2$, $Z=\tfrac{\hat p_1-p_1}{\sqrt{p_1p_2/n}}$임을 보여라. 비율의 $z$ 검정과 같다.

풀이

$N_2-np_2=-(N_1-np_1)$이므로 $X^2=(N_1-np_1)^2\bigl(\tfrac1{np_1}+\tfrac1{np_2}\bigr)=\tfrac{(N_1-np_1)^2}{np_1p_2}$이고, 이것은 $\bigl(\tfrac{\hat p_1-p_1}{\sqrt{p_1p_2/n}}\bigr)^2$이다.

연습 5.2 (사영행렬 ★) $\|\mathbf u\|=1$이면 $P=I-\mathbf u\mathbf u\T$가 대칭이고 $P^2=P$이며 $\mathrm{tr}\,P=k-1$임을 보여라. $P$의 고윳값은?

풀이

$P\T=I-\mathbf u\mathbf u\T=P$. $P^2=I-2\mathbf u\mathbf u\T+\mathbf u(\mathbf u\T\mathbf u)\mathbf u\T=P$. $\mathrm{tr}P=k-\mathbf u\T\mathbf u=k-1$. 고윳값은 $\mathbf u$ 방향에서 0, 수직인 $k-1$개 방향에서 1이다.

연습 5.3 ($2\times2$ 표의 $X^2$ ★★) $2\times2$ 표 $\bigl(\begin{smallmatrix}a&b\\c&d\end{smallmatrix}\bigr)$에서 $X^2=\dfrac{n(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}$임을 보여라.

풀이

$E_{11}=\tfrac{(a+b)(a+c)}n$이고 $a-E_{11}=\tfrac{ad-bc}n$이다. 네 칸 모두 차이의 절댓값이 $\tfrac{|ad-bc|}n$이므로 $X^2=\tfrac{(ad-bc)^2}{n^2}\sum\tfrac1{E_{ij}}$이고, $\sum\tfrac1{E_{ij}}=\tfrac{n^3}{(a+b)(c+d)(a+c)(b+d)}$ (네 분수를 통분하면 분자가 $n\cdot n^2$). 정리하면 식이다. Berkeley 자료에서 92.2.

연습 5.4 (Poisson 분산 검정 ★★) $X_1,\dots,X_k$가 독립인 $\mathrm{Poi}(\lambda)$이면 합 $S$가 주어질 때 $(X_1,\dots,X_k)$는 $\mathrm{Mult}(S;\tfrac1k,\allowbreak \dots,\allowbreak \tfrac1k)$이다(4회 연습 2.4를 $k$개로 넓힌 것). 이것으로 $\sum_i\tfrac{(X_i-\bar X)^2}{\bar X}$이 근사적으로 $\chi^2(k-1)$임을 설명하고, 4회의 14개 군단의 20년 합계에서 $27.3$, $p=0.011$을 확인하라.

풀이

$S=s$가 주어지면 $X_i$들은 확률이 같은 $k$개 범주에 $s$번을 나눈 다항분포이므로 Pearson 통계량 $\sum\tfrac{(X_i-s/k)^2}{s/k}=\sum\tfrac{(X_i-\bar X)^2}{\bar X}$는 $s$가 클 때 $\chi^2(k-1)$이다. 조건부 분포가 $\lambda$와 무관하므로 무조건부로도 그렇다. 군단의 20년 합계 14개로 $27.3$, 자유도 13, $p=0.011$이다.

연습 5.5 (Pearson의 자유도 ★) $X^2=3.84$를 자유도 1과 3으로 읽은 $p$-값을 구하라. $3\times3$ 표에서 Pearson의 8과 Fisher의 4는?

풀이

$X^2=3.84$: 자유도 1이면 $p=0.050$, 3이면 $0.279$, 4이면 $0.428$, 8이면 $0.871$. 자유도를 크게 잡으면 같은 증거가 훨씬 약해 보인다.

이 절을 PDF로 보기 (19쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례