14회 · 분산분석과 실험설계 · 노트

3 블록과 이원분산분석

역사 Fisher의 첫 Rothamsted 논문(1921)은 Broadbalk 밀밭의 기록을 다뤘다. 1843년부터 같은 구획에 같은 거름을 주어 온 밭이다. 그는 수확의 변동을 거름(구획)의 몫, 해(날씨)의 몫, 나머지로 나누었다. 같은 생각을 설계에 쓰면 블록이 된다. 땅심이 비슷한 구획들을 한 블록으로 묶고, 블록 안에서 처치를 무작위로 배치하면 블록 사이의 땅심 차이가 처치의 비교에 섞이지 않는다. Fisher는 이것을 “국소 관리”라 불렀다. Frank Yates는 1935년의 복합 실험에서 한 구획을 다시 쪼개 두 번째 처치를 배치하는 분할구 설계를 정리했다.

그림 3.1 세 설계. 완전무작위설계는 밭 전체에서 처치를 섞고, 무작위 블록 설계는 블록마다 처치를 한 번씩 섞는다. 분할구 설계는 큰 단위(주구)에 한 요인을, 그 안의 작은 단위(세구)에 다른 요인을 섞는다. 무작위화가 일어난 단위의 크기가 오차를 재는 단위다.

3.1 균형 이원배치의 직교 분해

정의 3.1 (균형 이원배치) 요인 A의 수준 $i=1,\dots,a$와 요인 B의 수준 $j=1,\dots,b$의 모든 조합(칸)마다 $r$개씩, 모두 $N=abr$개의 관측 $y_{ijk}$가 있다. 모형은

$$y_{ijk}=\mu+\alpha_i+\beta_j+(\alpha\beta)_{ij}+\varepsilon_{ijk},\qquad \textstyle\sum_i\alpha_i=\sum_j\beta_j=\sum_i(\alpha\beta)_{ij}=\sum_j(\alpha\beta)_{ij}=0$$

이고 $\varepsilon_{ijk}\iid\N(0,\allowbreak \sigma^2)$이다. $(\alpha\beta)_{ij}$를 상호작용이라 한다. 처치 $t$개를 블록 $b$개에 하나씩 배치한 무작위 블록 설계는 $r=1$이고 상호작용이 없는(가법) 경우다.

정리 3.2 (균형 이원배치의 분해) $\R^N$의 다섯 부분공간

$$\begin{align*} V_0&=\{c\one\},\quad V_A=\{v_{ijk}=f(i):\textstyle\sum_if(i)=0\},\quad V_B=\{v_{ijk}=g(j):\textstyle\sum_jg(j)=0\},\\ V_{AB}&=\{v_{ijk}=h(i,j):\textstyle\sum_ih(i,j)=\sum_jh(i,j)=0\},\quad V_E=\{v:\textstyle\sum_kv_{ijk}=0\ \text{(모든 칸)}\} \end{align*}$$

는 서로 직교하고, 차원은 $1,\allowbreak \ a-1,\allowbreak \ b-1,\allowbreak \ (a-1)(b-1),\allowbreak \ ab(r-1)$이며, 합하면 $\R^N$ 전체다. $\y$의 각 공간 위로의 사영은

$$\bar y_{\cdot\cdot\cdot},\quad \bar y_{i\cdot\cdot}-\bar y_{\cdot\cdot\cdot},\quad \bar y_{\cdot j\cdot}-\bar y_{\cdot\cdot\cdot},\quad \bar y_{ij\cdot}-\bar y_{i\cdot\cdot}-\bar y_{\cdot j\cdot}+\bar y_{\cdot\cdot\cdot},\quad y_{ijk}-\bar y_{ij\cdot}$$

이다. 따라서 $\SS_T=\SS_A+\SS_B+\SS_{AB}+\SS_E$이고, 정규 오차 아래 각 제곱합은 서로 독립이며, 예컨대 $H_0:\alpha_i\equiv0$ 아래 $F_A=\tfrac{\SS_A/(a-1)}{\SS_E/(ab(r-1))}\sim F(a-1,\allowbreak ab(r-1))$이다.

증명 전략 다섯 공간이 서로 직교하고 차원의 합이 $N$임을 보이면 $\R^N$의 직교분해가 된다. 그다음 $\y$를 다섯 조각의 합으로 쓰는 항등식에서 각 조각이 제 공간에 속함을 확인하면, 분해의 유일성으로 그 조각들이 사영이다.

직교

1. $f\in V_A$, $g\in V_B$이면 $\sum_{ijk}f(i)g(j)=r\bigl(\sum_if(i)\bigr)\bigl(\sum_jg(j)\bigr)=0$이다.균형: 칸마다 $r$개

2. $h\in V_{AB}$이면 $\sum_{ijk}f(i)h(i,\allowbreak j)=r\sum_if(i)\sum_jh(i,\allowbreak j)=0$이다. $V_B$와 $V_{AB}$도 같은 계산이다.$V_{AB}$의 정의

3. $e\in V_E$는 칸마다 합이 0이므로, 칸 안에서 상수인 벡터($V_0,V_A,V_B,V_{AB}$의 원소)와 모두 직교한다.칸별로 묶어 더한다

4. $V_A,V_B,V_{AB},V_E$의 원소는 성분의 합이 0이므로 $V_0=\{c\one\}$과 직교한다.$\langle c\one,\allowbreak \bv\rangle=c\sum v$

차원과 합

1. 차원은 자유롭게 고를 수 있는 값의 수다. $V_A$는 $a$개 값에 합 0의 제약 하나이므로 $a-1$, $V_{AB}$는 $a\times b$ 표에 행과 열의 합 0의 제약이 독립으로 $a+b-1$개이므로 $(a-1)(b-1)$, $V_E$는 칸마다 $r-1$이다.제약을 센다

2. $1+(a-1)+(b-1)+(a-1)(b-1)+ab(r-1)=ab+ab(r-1)=N$이므로 다섯 공간의 직교합이 $\R^N$ 전체다.직교하는 공간의 차원은 더해진다

사영과 분포

1. $y_{ijk}$를 정리에 적힌 다섯 조각의 합으로 쓰면 항등식이고, 각 조각은 차례로 제 공간에 속한다. 예컨대 넷째 조각은 $i$로 더해도 $j$로 더해도 0이다.대입해 확인

2. 직교분해에서 각 성분은 하나뿐이므로 각 조각이 사영이고, $\SS_T=\SS_A+\SS_B+\SS_{AB}+\SS_E$이다.6, 피타고라스

3. 정규 오차 아래 다섯 이차형식은 서로 독립이다. $H_0:\alpha_i\equiv0$ 아래 평균 벡터의 $V_A$ 성분과 $V_E$ 성분이 0이므로 $\SS_A/\sigma^2\sim\chi^2(a-1)$, $\SS_E/\sigma^2\sim\chi^2(ab(r-1))$이고 $F_A\sim F\bigl(a-1,\allowbreak ab(r-1)\bigr)$이다.13회 정리 4.5, 따름정리 4.2

모든 곱의 합이 칸마다 $r$개씩 똑같이 세어진다는 것, 곧 균형이 1과 2의 열쇠다.

무작위 블록 설계($r=1$, 가법)에서는 $V_E$가 비어 있고, 상호작용이 없다는 가정 아래 $V_{AB}$가 오차의 자리를 맡는다. 오차의 자유도는 $(t-1)(b-1)$이다. 블록을 넣으면 블록 사이의 변동 $\SS_B$가 오차에서 빠져나간다. 블록이 땅심을 잘 묶었다면 오차가 줄어 처치의 비교가 날카로워진다.

예제 3.3 (Broadbalk, 74년) Broadbalk 밀밭의 17개 구획(서로 다른 거름)에서 1852–1925년의 74년 동안 잰 수확(헥타르당 톤)을 구획 $\times$ 해의 가법 모형으로 나누면

$$\SS_{\text{해}}=316.6\ (73),\qquad \SS_{\text{구획}}=253.1\ (16),\qquad \SS_{\text{나머지}}=144.2\ (1168)$$

이다. 전체 변동의 44%가 날씨, 35%가 거름, 20%가 나머지다. $F_{\text{구획}}=128.1$, $F_{\text{해}}=35.1$이다. 구획 평균은 거름이 없는 3번 0.85, 질소 없이 광물질만 준 5번 0.98, 광물질에 질소를 1·2·3배로 더한 6·7·8번 1.57·2.22·2.53, 두엄을 준 2번 2.44다. 질소의 용량 반응이 뚜렷하고, 질소가 없으면 광물질은 거의 듣지 않는다.

가법 모형은 “거름의 효과가 해마다 같다”는 가정이다. 반복이 없는 이원배치($r=1$)에서는 상호작용 전체를 검정할 수 없지만, Tukey(1949)는 특별한 꼴의 상호작용 하나를 검정하는 방법을 냈다.

정의 3.4 (Tukey의 비가법성 1자유도) $r=1$인 이원배치에서 $\hat a_i=\bar y_{i\cdot}-\bar y_{\cdot\cdot}$, $\hat b_j=\bar y_{\cdot j}-\bar y_{\cdot\cdot}$이라 하고

$$\SS_N=\frac{\bigl(\sum_{i,j}y_{ij}\hat a_i\hat b_j\bigr)^2}{\sum_i\hat a_i^2\sum_j\hat b_j^2},\qquad F_N=\frac{\SS_N}{(\SS_{\text{나머지}}-\SS_N)/\bigl((a-1)(b-1)-1\bigr)}$$

로 정의한다. $\SS_N$은 가법 모형의 잔차를 $\hat a_i\hat b_j$에 회귀한 제곱합이다.

증명 없이 쓰는 사실 (Tukey (1949)) 가법 정규 모형 아래 $F_N\sim F\bigl(1,\allowbreak (a-1)(b-1)-1\bigr)$이다. $\hat a_i,\hat b_j$가 자료에서 추정된 것이어서 증명에는 그것들을 조건으로 놓는 논증이 필요하다. 이 검정은 효과가 더해지지 않고 곱해지는 경우(좋은 해에 좋은 거름의 효과가 더 큰 경우)를 잘 잡는다.

Broadbalk에서 $F_N=73.7$ ($p=3\times10^{-17}$)이다. 날씨가 좋은 해에는 거름을 많이 준 구획이 더 많이 늘었다. 로그 수확으로 바꾸면 $F_N=17.7$로 줄지만 여전히 뚜렷하다. 효과가 곱해진다는 Fisher와 Mackenzie(1923)의 관찰이 이것이다.

3.2 분할구 설계: 오차가 두 층이다

예제 3.5 (Yates의 귀리 (1931)) 6개 블록마다 구획 3개(주구)에 귀리 품종 Golden Rain, Marvellous, Victory를 무작위로 배치하고, 각 주구를 다시 4개의 세구로 나눠 질소 네 수준을 무작위로 배치했다. 무작위화가 두 번, 두 크기의 단위에서 일어났다. 분산분석도 두 층으로 나뉜다.

층	출처	자유도	제곱합	평균제곱	$F$
주구	블록	5	15875.3	3175.1
	품종	2	1786.4	893.2	1.49
	주구 오차 (블록$\times$품종)	10	6013.3	601.3
세구	질소	3	20020.5	6673.5	37.69
	품종$\times$질소	6	321.7	53.6	0.30
	세구 오차	45	7968.8	177.1

품종의 $F=1.49$ ($p=0.27$)는 주구 오차로, 질소와 상호작용의 $F$는 세구 오차로 나눈 것이다. 질소는 뚜렷하고($p<10^{-11}$), 품종 차이와 상호작용은 우연의 크기 안이다(그림 3.2 오른쪽).

명제 3.6 (분할구의 기대평균제곱) 주구마다 독립인 효과 $\eta\sim\N(0,\sigma_w^2)$이 그 주구의 세구 4개에 똑같이 더해지고, 세구마다 독립인 $\varepsilon\sim\N(0,\sigma^2)$이 더해진다고 하자. 그러면

$$E\,\mathrm{MS}_{\text{주구 오차}}=\sigma^2+4\sigma_w^2,\qquad E\,\mathrm{MS}_{\text{세구 오차}}=\sigma^2$$

이다. 품종의 비교에는 $\eta$가 섞이므로 주구 오차로 나눠야 한다.

증명 전략 평균이 사라지는 공간 위의 제곱 길이의 기댓값은 $\tr(P\Sigma)$다(13회 보조정리 3.1). 오차의 공분산 $\Sigma$를 주구 사영 $P_w$로 쓰고, 두 오차 공간이 주구 안에서 상수인지, 주구 안에서 합이 0인지를 본다.

1. $\boldsymbol\eta^*$를 $\eta$들을 세구 72개로 펼친 벡터라 하면 $\Cov\boldsymbol\eta^*=\sigma_w^2K$이다. $K$는 같은 주구의 세구끼리 1인 블록대각 행렬이고, $K=4P_w$이다. $P_w$는 주구 표시 벡터 18개가 생성하는 공간 위로의 사영이다.주구마다 세구 4개

2. $\boldsymbol\eta^*$와 $\beps$는 독립이므로 오차 $\boldsymbol\eta^*+\beps$의 공분산은 $\Sigma=4\sigma_w^2P_w+\sigma^2I$이다.독립합의 공분산

3. 주구 오차의 공간 $V_{\text{블록}\times\text{품종}}$(차원 10)은 주구 안에서 상수인 벡터들의 공간 안에 있으므로, 그 사영 $P$에 대해 $PP_w=P$이다.블록 $\times$ 품종은 주구 단위의 대비

4. 평균 벡터는 $P$로 사라지므로

   $$E\|P(\boldsymbol\eta^*+\beps)\|^2=\tr(P\Sigma)=4\sigma_w^2\tr P+\sigma^2\tr P=10(4\sigma_w^2+\sigma^2) .$$

   13회 보조정리 3.1, $\tr P=10$

5. 세구 오차의 공간(차원 45)은 주구 안에서 합이 0인 벡터들이어서 $P_w$와 직교한다. 그 사영 $P^\prime$에 대해 $P^\prime P_w=0$이므로 $E\|P^\prime(\boldsymbol\eta^*+\beps)\|^2=45\sigma^2$이다.4와 같은 계산

6. 각각을 자유도 10과 45로 나누면 명제의 식이다.평균제곱의 정의

귀리에서 주구 오차의 평균제곱 601.3은 세구 오차 177.1의 3.4배다. 이웃한 세구들이 땅심을 함께 나누기 때문이다. 72구획을 모두 독립으로 보고 두 오차를 합친 잔차(평균제곱 254.2, 자유도 55)로 품종을 검정하면 $F$가 3.51 ($p=0.037$)로 부풀어 “유의”해진다(7절). 무작위화가 일어난 단위가 오차를 재는 단위다.

그림 3.2 왼쪽: Broadbalk의 다섯 구획의 수확(5년 이동평균). 질소 용량(6·7·8번)에 따른 차이와 해마다 함께 오르내리는 날씨의 몫이 보인다. 오른쪽: 귀리의 품종 $\times$ 질소 평균. 세 선이 거의 평행하다(상호작용 $F=0.30$).

연습문제

연습 3.1 (무작위 블록의 표 ★) 처치 $t$개, 블록 $b$개의 무작위 블록 설계의 분산분석표(출처, 자유도, 제곱합의 식)를 쓰고, 블록을 무시한 일원분산분석과 오차 자유도가 어떻게 다른지 말하라.

풀이

처치 $t-1$, 블록 $b-1$, 오차 $(t-1)(b-1)$, 전체 $tb-1$. 제곱합은 $b\sum(\bar y_{i\cdot}-\bar y)^2$, $t\sum(\bar y_{\cdot j}-\bar y)^2$, 나머지다. 블록을 무시하면 오차의 자유도는 $t(b-1)$로 $b-1$만큼 크지만, 블록 사이의 변동이 오차에 섞여 평균제곱이 커진다.

연습 3.2 (균형이 하는 일 ★★) 정리 3.2의 증명 1에서 $\sum_{ijk}f(i)g(j)=r(\sum f)(\sum g)$가 성립하려면 칸마다 관측 수가 같아야 함을 보여라. 칸의 관측 수가 $n_{ij}$이면 $V_A$와 $V_B$가 직교할 조건은 무엇인가? ($n_{ij}=u_iv_j$ 꼴이면 충분하다.)

풀이

칸의 수가 $n_{ij}$이면 $\sum_{ijk}f(i)g(j)=\sum_{ij}n_{ij}f(i)g(j)$이다. 모든 칸이 $r$이면 $r(\sum f)(\sum g)$로 갈라진다. 일반적으로는 $n_{ij}=n_{i\cdot}n_{\cdot j}/N$(비례 도수)이면, $f$와 $g$를 각각 무게 $n_{i\cdot}$, $n_{\cdot j}$의 가중평균이 0이 되게 중심화했을 때 $\sum n_{ij}f(i)g(j)=\tfrac1N(\sum n_{i\cdot}f(i))(\sum n_{\cdot j}g(j))=0$으로 직교한다.

연습 3.3 (Broadbalk의 비율 ★) 예제 3.3의 제곱합에서 세 몫의 비율과 두 $F$를 계산하라. 구획의 효과가 해의 효과보다 $F$는 크지만 제곱합은 작은 이유는?

풀이

전체 $713.9$에서 $316.6/713.9=0.44$, $253.1/713.9=0.35$, $144.2/713.9=0.20$. 오차의 평균제곱 $144.2/1168=0.1235$로 $F_{\text{해}}=(316.6/73)/0.1235=35.1$, $F_{\text{구획}}=(253.1/16)/0.1235=128.1$. 구획은 자유도가 16뿐이어서 자유도당 변동이 해보다 훨씬 크다.

연습 3.4 (Tukey의 1자유도 ★★) 가법 모형의 잔차 $e_{ij}=y_{ij}-\bar y_{i\cdot}-\bar y_{\cdot j}+\bar y_{\cdot\cdot}$를 $\hat a_i\hat b_j$에 (절편 없이) 회귀했을 때의 회귀제곱합이 정의 3.4의 $\SS_N$임을 보여라. ($\sum_{ij}e_{ij}\hat a_i\hat b_j=\sum_{ij}y_{ij}\hat a_i\hat b_j$를 먼저 보여라.)

풀이

$\sum_j\hat b_j=0$이므로 $\sum_{ij}\bar y_{i\cdot}\hat a_i\hat b_j=0$이고, 같은 이유로 $\bar y_{\cdot j}$와 $\bar y_{\cdot\cdot}$의 항도 0이어서 $\sum e_{ij}\hat a_i\hat b_j=\sum y_{ij}\hat a_i\hat b_j$이다. 원점을 지나는 회귀의 제곱합은 $(\sum e_{ij}z_{ij})^2/\sum z_{ij}^2$ ($z_{ij}=\hat a_i\hat b_j$)이고 $\sum z_{ij}^2=\sum\hat a_i^2\sum\hat b_j^2$이다.

연습 3.5 (분할구의 품종 비교 ★★) 명제 3.6의 모형에서 한 품종의 평균(주구 6개, 세구 24개)의 분산이 $\sigma_w^2/6+\sigma^2/24$이고, 두 품종의 차의 분산이 $(4\sigma_w^2+\sigma^2)/12$임을 보여라. 이것이 주구 오차로 품종을 검정하는 이유다.

풀이

한 품종의 평균은 그 품종의 주구 6개의 $\eta$ 평균과 세구 24개의 $\varepsilon$ 평균을 포함하므로(블록 효과는 모든 품종에 같다) 분산이 $\sigma_w^2/6+\sigma^2/24$이다. 두 품종은 서로 다른 주구를 쓰므로 차의 분산은 두 배, $\sigma_w^2/3+\sigma^2/12=(4\sigma_w^2+\sigma^2)/12$이다. 분자에 $4\sigma_w^2+\sigma^2$이 들어 있으므로 기댓값이 같은 주구 오차로 나눠야 한다.

이 절을 PDF로 보기 (14쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례