14회 · 분산분석과 실험설계 · 노트

2 일원분산분석과 비중심 분포

역사 Fisher는 1918년 유전학 논문에서 “분산”이라는 말을 처음 썼다. 1923년 Mackenzie와 함께 쓴 감자 비료 실험의 분석에서 처음으로 분산분석표가 나왔다. 전체 제곱합을 품종, 비료, 나머지의 몫으로 나누고 각 몫을 자유도로 나눈 표다. Fisher는 두 분산의 비 대신 $z=\tfrac12\log(\text{비})$의 분포표를 만들었다. 1934년 아이오와의 George Snedecor가 비 자체의 표를 내면서 Fisher를 기려 그것을 $F$라 불렀다. Fisher는 이 이름을 달가워하지 않았다.

2.1 일원분산분석은 사영이다

정의 2.1 (일원배치 모형) 처치 $i=1,\dots,t$의 단위 $j=1,\dots,n_i$에서 $y_{ij}=\mu_i+\varepsilon_{ij}$, $\varepsilon_{ij}\iid\N(0,\allowbreak \sigma^2)$이다. 13회의 선형모형으로 쓰면 $X$는 $N\times t$의 처치 표시 행렬이고 $\bbeta=(\mu_1,\dots,\mu_t)\T$다.

정리 2.2 (일원분산분석) $H$를 $\col(X)$ 위로의 사영이라 하면 $(H\y)_{ij}=\bar y_{i\cdot}$이고

$$\underbrace{\sum_{i,j}(y_{ij}-\bar y_{\cdot\cdot})^2}_{\SS_T=\|(I-J)\y\|^2}=\underbrace{\sum_in_i(\bar y_{i\cdot}-\bar y_{\cdot\cdot})^2}_{\SS_B=\|(H-J)\y\|^2}+\underbrace{\sum_{i,j}(y_{ij}-\bar y_{i\cdot})^2}_{\SS_W=\|(I-H)\y\|^2}$$

이다. $H-J$와 $I-H$는 계수가 $t-1$, $N-t$인 직교사영이다. $H_0:\mu_1=\dots=\mu_t$ 아래

$$F=\frac{\SS_B/(t-1)}{\SS_W/(N-t)}\sim F(t-1,\ N-t)$$

이고, 이 $F$ 검정은 $H_0$의 가능도비 검정이다.

증명 전략 $\R^N$을 서로 직교하는 세 공간, 곧 상수 벡터, 처치 평균의 편차, 처치 안의 편차로 나눈다. 분포는 13회의 Cochran 정리가 주고, 가능도비 검정이라는 것은 일원배치의 귀무가설을 일반선형가설로 쓰면 나온다.

1. $X\T X=\diag(n_1,\dots,n_t)$이고 $X\T\y$의 성분은 처치별 합이므로 $\bhat=(\bar y_{1\cdot},\allowbreak \dots,\allowbreak \bar y_{t\cdot})\T$이고 $(H\y)_{ij}=(X\bhat)_{ij}=\bar y_{i\cdot}$이다.정규방정식, 13회 정리 2.2

2. $\one=X\one_t\in\col(X)$이므로 $HJ=JH=J$이다. 따라서 $H-J$는 계수 $t-1$, $I-H$는 계수 $N-t$인 대칭 멱등행렬이다.13회 정리 2.5의 증명

3. $I-J=(H-J)+(I-H)$이고 $(H-J)(I-H)=0$이므로 $\SS_T=\|(I-J)\y\|^2=\SS_B+\SS_W$이다.직교하는 사영, 피타고라스

4. $I=J+(H-J)+(I-H)$이고 계수의 합이 $1+(t-1)+(N-t)=N$이다.13회 정리 4.5(Cochran)의 조건

5. $H_0$ 아래 평균 벡터는 $\mu\one$이고 $(H-J)\mu\one=(I-H)\mu\one=\bzero$이다. 따라서 $\SS_B/\sigma^2\sim\chi^2(t-1)$과 $\SS_W/\sigma^2\sim\chi^2(N-t)$가 독립이고 $F\sim F(t-1,N-t)$이다.4, 13회 정리 4.5, 따름정리 4.2

6. $H_0$은 13회 정리 4.9에서 $C$를 대비 $\mu_i-\mu_t$ ($i<t$)로 둔 일반선형가설이다. 제약 아래의 적합은 $J\y$이고 $\mathrm{RSS}_0-\mathrm{RSS}=\|(H-J)\y\|^2=\SS_B$이므로 $F$ 검정은 가능도비 검정이다.13회 정리 4.9(d)

$\SS_W=\sum_i(n_i-1)s_i^2$이므로 $\SS_W/(N-t)$는 처치마다의 표본분산을 합친 것이다. $t=2$이면 $F$는 6회 정리 5.4의 두 표본 $t$의 제곱이다(연습 2.2). “분산분석”이라는 이름과 달리 이 검정이 비교하는 것은 평균이다. 처치 평균들이 흩어진 정도를 처치 안의 흩어짐과 견준다.

예제 2.3 (귀리와 질소 (Yates 1931)) 1931년 Rothamsted에서 귀리 세 품종에 질소 비료를 에이커당 0, 0.2, 0.4, 0.6 헌드레드웨이트(cwt) 주었다. 수확은 $1/80$에이커 구획마다 1/4파운드 단위로 쟀고, 질소 수준마다 18구획이다. 품종과 블록을 무시하고 질소만으로 일원분산분석을 하면 평균은 차례로 79.4, 98.9, 114.2, 123.4이고

$$\SS_B=20020.5\ (3),\qquad \SS_W=31965.4\ (68),\qquad F=14.20,\qquad p=2.8\times10^{-7}$$

이다(괄호는 자유도). 오차의 표준편차 추정은 $s=21.7$이다. 3절에서 블록과 품종을 넣으면 오차가 크게 줄어든다.

2.2 비중심 분포와 검정력

귀무가설이 거짓일 때 $F$는 어떤 분포를 따르는가? 그것을 알아야 검정력을 계산하고, 실험 전에 반복 수를 정할 수 있다.

정의 2.4 (비중심 $\chi^2$) $\X\sim\N_k(\bmu,I)$일 때 $\|\X\|^2$의 분포를 자유도 $k$, 비중심도 $\lambda=\|\bmu\|^2$의 비중심 $\chi^2$이라 하고 $\chi^2(k,\lambda)$로 쓴다.

정리 2.5 (비중심 $\chi^2$의 성질) 

1. (a)

   분포는 $\bmu$에 $\|\bmu\|^2$을 통해서만 의존한다.

2. (b)

   $t<\tfrac12$에서 mgf는 $(1-2t)^{-k/2}\exp\bigl(\tfrac{\lambda t}{1-2t}\bigr)$이다.

3. (c)

   $J\sim\mathrm{Poi}(\lambda/2)$이고 $J=j$일 때 $\chi^2(k+2j)$인 혼합분포와 같다.

4. (d)

   평균은 $k+\lambda$, 분산은 $2k+4\lambda$이다.

5. (e)

   모든 $c$에 대해 $P\bigl(\chi^2(k,\allowbreak \lambda)>c\bigr)$는 $\lambda$의 증가함수다.

증명 전략 (a)는 회전으로 평균 벡터를 한 축 위로 옮긴다. (b)는 한 성분의 mgf를 제곱 완성으로 구해 곱한다. (c)는 (b)의 mgf를 Poisson 가중치의 급수로 펼친다. (d)와 (e)는 (c)의 혼합 표현에 조건을 거는 계산이다.

(a)

1. $\bmu\ne\bzero$이면 첫 행이 $\bmu/\|\bmu\|$인 직교행렬 $Q$가 있다.정규직교 기저로 확장

2. $Q\X\sim\N_k\bigl(Q\bmu,\allowbreak QQ\T\bigr)=\N_k\bigl((\|\bmu\|,\allowbreak 0,\allowbreak \dots,\allowbreak 0)\T,\allowbreak I\bigr)$이다.5회 정리 3.8

3. $\|Q\X\|=\|\X\|$이므로 $\|\X\|^2$의 분포는 $\|\bmu\|$로만 정해진다.$Q\T Q=I$

(b)

1. $Z\sim\N(0,1)$, $t<\tfrac12$이면 지수의 제곱을 완성해

   $$t(z+a)^2-\frac{z^2}2=-\frac{1-2t}2\Bigl(z-\frac{2ta}{1-2t}\Bigr)^2+\frac{ta^2}{1-2t} .$$

   전개해 비교

2. 따라서 $Ee^{t(Z+a)^2}=(1-2t)^{-1/2}\exp\bigl(\tfrac{ta^2}{1-2t}\bigr)$이다.분산 $\tfrac1{1-2t}$인 정규밀도의 적분은 1

3. $\|\X\|^2=\sum_iX_i^2$의 항들은 독립이므로 mgf를 곱하면 $(1-2t)^{-k/2}\exp\bigl(\tfrac{t\lambda}{1-2t}\bigr)$이다.3회 정리 3.4(d)

(c)

1. $\tfrac{\lambda t}{1-2t}=\tfrac\lambda2\bigl(\tfrac1{1-2t}-1\bigr)$이므로 지수함수를 급수로 펼치면

   $$(1-2t)^{-k/2}e^{\lambda t/(1-2t)}=\sum_{j=0}^\infty e^{-\lambda/2}\frac{(\lambda/2)^j}{j!}\,(1-2t)^{-(k+2j)/2} .$$

   $e^x=\sum_jx^j/j!$

2. 오른쪽은 $J\sim\mathrm{Poi}(\lambda/2)$이고 $J=j$일 때 $\chi^2(k+2j)$인 혼합분포의 mgf $E\bigl[E(e^{tY}\mid J)\bigr]$이다.3회 정리 2.5

3. 두 mgf가 $t<\tfrac12$에서 같으므로 두 분포가 같다.mgf의 유일성, 2회 3절

(d)

1. 평균은 $E\bigl[E(Y\mid J)\bigr]=E(k+2J)=k+\lambda$이다.(c), 3회 정리 2.5

2. 분산은 $E\bigl[\Var(Y\mid J)\bigr]+\Var\bigl(E(Y\mid J)\bigr)=E[2(k+2J)]+\Var(2J)=2k+2\lambda+2\lambda$이다.3회 정리 2.6

(e)

1. $g(j)=P\bigl(\chi^2(k+2j)>c\bigr)$는 $j$의 증가함수다. $\chi^2(k+2j+2)$는 $\chi^2(k+2j)$에 독립인 $\chi^2(2)\ge0$을 더한 것이기 때문이다.단조성

2. $\lambda<\lambda^\prime$이면 $\mathrm{Poi}(\lambda^\prime/2)$는 $J\sim\mathrm{Poi}(\lambda/2)$에 독립인 $J^{\prime\prime}\sim\mathrm{Poi}\bigl((\lambda^\prime-\lambda)/2\bigr)$를 더한 것의 분포다.4회 정리 2.4

3. 따라서 $P\bigl(\chi^2(k,\allowbreak \lambda^\prime)>c\bigr)=E\,g(J+J^{\prime\prime})\ge E\,g(J)=P\bigl(\chi^2(k,\allowbreak \lambda)>c\bigr)$이다.(c), 1 2

조건 확인 (c)의 급수는 모든 항이 양수이므로 기댓값과 합의 순서를 바꿀 수 있다 [T6]. 두 mgf는 $0$을 포함하는 구간 $t<\tfrac12$에서 유한하므로 유일성을 쓸 수 있다.

따름정리 2.6 (사영의 비중심도) $\y\sim\N_N(\bmu,\sigma^2I)$이고 $P$가 계수 $r$의 대칭 멱등행렬이면 $\y\T P\y/\sigma^2\sim\chi^2\bigl(r,\allowbreak \ \bmu\T P\bmu/\sigma^2\bigr)$이다.

증명 전략 $P$를 정규직교 열을 가진 행렬로 $P=UU\T$라 쓰면 $\y\T P\y$는 $r$차원 정규벡터의 제곱 길이다. 정의 2.4에 그대로 들어간다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정의 2.7 (비중심 $F$) $Q\sim\chi^2(q,\lambda)$와 $V\sim\chi^2(m)$이 독립일 때 $\tfrac{Q/q}{V/m}$의 분포를 비중심 $F(q,m,\lambda)$라 한다.

정리 2.8 ($F$ 검정의 검정력) 13회 정리 4.9의 일반선형가설 $C\bbeta=\mathbf d$에서, 참 모수가 무엇이든 $F\sim F(q,\ n-p,\ \lambda)$이고

$$\lambda=\frac{(C\bbeta-\mathbf d)\T\bigl[C(X\T X)^{-1}C\T\bigr]^{-1}(C\bbeta-\mathbf d)}{\sigma^2}.$$

일원분산분석에서는 $\lambda=\sum_in_i(\mu_i-\bar\mu)^2/\sigma^2$, $\bar\mu=\sum n_i\mu_i/N$이다. 크기 $\alpha$인 $F$ 검정의 검정력 $P(F>F_{q,n-p,\alpha})$는 $\lambda$의 증가함수다.

증명 전략 분자를 $q$차원 정규벡터의 제곱 길이로 바꿔 비중심도를 읽는다. 분모는 평균과 무관하고 분자와 독립이다. 검정력의 단조성은 분모에 조건을 걸고 정리 2.5(e)를 쓴다. 단계별 증명은 연습 2.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 2.9 (반복 수를 정하기) 질소 네 수준의 참 평균이 예제 2.3의 평균과 같고, 오차의 표준편차가 3절의 분할구 분석이 준 $\sigma=\sqrt{177.1}=13.3$이라 하자. 수준마다 $n$구획이면 $\lambda=n\sum(\mu_i-\bar\mu)^2/\sigma^2$이고, 5% 검정의 검정력은

$$n=2:\ 0.44,\qquad n=3:\ 0.82,\qquad n=4:\ 0.96$$

이다(그림 2.1). 질소의 주효과만 보려면 수준마다 세 구획이면 충분했다. Yates의 실험이 수준마다 18구획을 쓴 것은 품종의 차이와 품종 $\times$ 질소의 상호작용까지 보려 했기 때문이다.

그림 2.1 왼쪽: 자유도 3인 비중심 $\chi^2$의 밀도. 비중심도 $\lambda$가 커지면 분포가 오른쪽으로 옮겨 가고 퍼진다. 점선은 중심 $\chi^2(3)$의 95% 분위수다. 오른쪽: 귀리 질소 효과에서 수준당 구획 수 $n$에 따른 5% $F$ 검정의 검정력. $\sigma=13.3$이면(파랑) 세 구획에서 0.8을 넘고, $\sigma$가 두 배면(주황) 여덟 구획이 필요하다(연습 2.5).

연습문제

연습 2.1 (제곱합의 공식 ★) $\SS_B=\sum_in_i\bar y_{i\cdot}^2-N\bar y_{\cdot\cdot}^2$과 $\SS_W=\sum_i(n_i-1)s_i^2$을 보여라.

풀이

$\sum_in_i(\bar y_{i\cdot}-\bar y)^2=\sum n_i\bar y_{i\cdot}^2-2\bar y\sum n_i\bar y_{i\cdot}+N\bar y^2$이고 $\sum n_i\bar y_{i\cdot}=N\bar y$. 처치 $i$ 안의 제곱합은 $(n_i-1)s_i^2$이다.

연습 2.2 (두 표본이면 ★) $t=2$일 때 정리 2.2의 $F$가 6회 정리 5.4의 합동 두 표본 $t$의 제곱임을 보여라.

풀이

$t=2$이면 $\bar y=\tfrac{n_1\bar y_1+n_2\bar y_2}N$이고 $\SS_B=\tfrac{n_1n_2}N(\bar y_1-\bar y_2)^2$이다. $\SS_W/(N-2)=s_p^2$이므로 $F=\tfrac{(\bar y_1-\bar y_2)^2}{s_p^2(1/n_1+1/n_2)}=t^2$.

연습 2.3 (비중심도의 계산 ★★) 일원배치에서 $(H-J)\bmu$의 $(i,j)$ 성분이 $\mu_i-\bar\mu$ ($\bar\mu=\sum n_i\mu_i/N$)임을 보이고, 정리 2.8의 일반식에 $C$를 $\mu_i-\mu_t$ ($i<t$)의 대비로 넣어도 같은 $\lambda$가 나옴을 $t=2$에서 확인하라.

풀이

$\bmu$의 성분이 $\mu_i$이므로 $\bmu\in\col(X)$, $H\bmu=\bmu$, $J\bmu=\bar\mu\one$이다. $t=2$, $C=(1,-1)$이면 $\lambda=\tfrac{(\mu_1-\mu_2)^2}{\sigma^2(1/n_1+1/n_2)}$이고, $\sum n_i(\mu_i-\bar\mu)^2=\tfrac{n_1n_2}N(\mu_1-\mu_2)^2$이므로 같다.

연습 2.4 (평균과 분산 ★) 정의 2.4에서 직접 $E\|\X\|^2=k+\lambda$를 구하고, $\Var(Z+a)^2=2+4a^2$을 써서 분산 $2k+4\lambda$를 다시 얻어라.

풀이

$E(Z+a)^2=1+a^2$을 더하면 $k+\lambda$. $(Z+a)^2=Z^2+2aZ+a^2$이고 $\Cov(Z^2,Z)=EZ^3=0$이므로 분산은 $2+4a^2$, 더하면 $2k+4\lambda$.

연습 2.5 (오차가 두 배면 ★) 예제 2.9에서 $\sigma$가 두 배이면 같은 검정력을 얻는 데 반복 수가 대략 몇 배 필요한가? $\lambda$의 식으로 답하고 노트북으로 확인하라.

풀이

$\lambda=n\sum(\mu_i-\bar\mu)^2/\sigma^2$이므로 $\sigma$가 두 배면 같은 $\lambda$에 $n$이 네 배 필요하다. 그러나 $n$이 커지면 분모의 자유도도 커져 같은 $\lambda$에서 검정력이 오르므로, 실제로는 수준당 8구획(3구획의 약 2.7배)이면 검정력 0.80이다(노트북).

연습 2.6 (사영의 비중심도: 증명 ★ 유도형) 따름정리 2.6를 다음 순서로 증명하라.

1. (a)

   $P=UU\T$, $U\T U=I_r$인 $N\times r$ 행렬 $U$가 있음을 13회 보조정리 2.4로 확인하라.

2. (b)

   $U\T\y/\sigma\sim\N_r(U\T\bmu/\sigma,\allowbreak \ I_r)$임을 보여라. 공분산이 $U\T(\sigma^2I)U/\sigma^2$이다.

3. (c)

   $\|U\T\y\|^2=\y\T P\y$, $\|U\T\bmu\|^2=\bmu\T P\bmu$를 보이고 정의 2.4로 결론을 내라.

풀이

(a) 13회 보조정리 2.4로 계수 $r$의 대칭 멱등행렬은 $\col(P)$의 정규직교 기저를 열로 하는 $U$에 대해 $P=UU\T$, $U\T U=I_r$로 쓸 수 있다. (b) $U\T\y$는 정규벡터의 선형변환이므로 정규이고(5회 정리 3.8), 평균은 $U\T\bmu$, 공분산은 $U\T(\sigma^2I)U=\sigma^2I_r$이다. $\sigma$로 나누면 $\N_r(U\T\bmu/\sigma,I_r)$이다. (c) $\|U\T\y\|^2=\y\T UU\T\y=\y\T P\y$이고 같은 방법으로 $\|U\T\bmu\|^2=\bmu\T P\bmu$이다. 정의 2.4에서 $k=r$, $\lambda=\|U\T\bmu/\sigma\|^2=\bmu\T P\bmu/\sigma^2$이다.

연습 2.7 ($F$ 검정의 검정력: 증명 ★★ 유도형) 정리 2.8를 다음 순서로 증명하라. $W=C(X\T X)^{-1}C\T$로 둔다.

1. (a)

   $C\bhat-\mathbf d\sim\N_q\bigl(C\bbeta-\mathbf d,\allowbreak \ \sigma^2W\bigr)$임을 보이고, $W^{-1/2}(C\bhat-\mathbf d)/\sigma$의 분포로 분자 $(C\bhat-\mathbf d)\T W^{-1}(C\bhat-\mathbf d)/\sigma^2$이 $\chi^2(q,\lambda)$임을 보여라.

2. (b)

   분모 $\mathrm{RSS}/\sigma^2$이 참 모수와 무관하게 $\chi^2(n-p)$이고 분자와 독립임을 13회 정리 4.7로 확인하라.

3. (c)

   일원분산분석에서는 분자가 $\|(H-J)\y\|^2/\sigma^2$이다. 따름정리 2.6와 연습 2.3로 $\lambda=\sum_in_i(\mu_i-\bar\mu)^2/\sigma^2$을 얻어라.

4. (d)

   $V=\mathrm{RSS}/\sigma^2$에 조건을 걸면 $P(F>c\mid V)=P\bigl(Q>cqV/(n-p)\mid V\bigr)$이다. 이것이 $\lambda$의 증가함수임을 정리 2.5(e)로 보이고, $V$에 대해 평균해도 증가함수임을 보여라.

풀이

(a) $\bhat\sim\N_p(\bbeta,\allowbreak \sigma^2(X\T X)^{-1})$(13회 정리 4.7)이므로 $C\bhat-\mathbf d\sim\N_q(C\bbeta-\mathbf d,\allowbreak \sigma^2W)$이다. $W$는 양정치이므로 $W^{-1/2}(C\bhat-\mathbf d)/\sigma\sim\N_q\bigl(W^{-1/2}(C\bbeta-\mathbf d)/\sigma,\allowbreak I_q\bigr)$이고, 그 제곱 길이가 분자다. 정의 2.4로 분자는 $\chi^2(q,\lambda)$이고 $\lambda=\|W^{-1/2}(C\bbeta-\mathbf d)\|^2/\sigma^2$은 정리의 식이다. (b) $\mathrm{RSS}=\|(I-H)\y\|^2$이고 $(I-H)X\bbeta=\bzero$이므로 평균과 무관하게 $\mathrm{RSS}/\sigma^2\sim\chi^2(n-p)$이며, 13회 정리 4.7로 $\bhat$과 독립이다. 분자는 $\bhat$의 함수이므로 분모와 독립이다. (c) 일원분산분석의 분자는 $\|(H-J)\y\|^2/\sigma^2$이고 $H-J$는 계수 $t-1$의 대칭 멱등이다. 따름정리 2.6로 $\lambda=\bmu\T(H-J)\bmu/\sigma^2=\|(H-J)\bmu\|^2/\sigma^2$이고, 연습 2.3로 $(H-J)\bmu$의 $(i,j)$ 성분이 $\mu_i-\bar\mu$이므로 $\lambda=\sum_in_i(\mu_i-\bar\mu)^2/\sigma^2$이다. (d) $Q$를 분자, $V$를 분모의 $\chi^2$이라 하면 $F=\tfrac{Q/q}{V/(n-p)}$이므로 $P(F>c\mid V=v)=P\bigl(Q>cqv/(n-p)\bigr)$이다($Q$와 $V$는 독립). 정리 2.5(e)로 이것은 모든 $v$에서 $\lambda$의 증가함수이고, $V$의 분포는 $\lambda$와 무관하므로 $V$에 대해 평균한 $P(F>c)$도 $\lambda$의 증가함수다.

이 절을 PDF로 보기 (8쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례