14회 · 분산분석과 실험설계 · 노트

4 여러 비교를 한꺼번에

역사 분산분석의 $F$가 “처치들이 모두 같지는 않다”고 말하면, 다음 질문은 “어느 것이 어느 것과 다른가”다. 처치가 6개면 짝은 15개이고, 각각을 5%에서 검정하면 우연만으로도 어느 하나가 유의할 확률이 크다. Fisher(1935)는 $F$가 유의할 때만 짝 비교를 하라고 했다. 이탈리아의 Carlo Bonferroni(1936)는 확률의 합집합 부등식을 정리했다. 1953년 두 해법이 나란히 나왔다. John Tukey는 짝 비교 전체를 정확히 덮는 구간을 돌려 읽힌 원고로 내놓았고(정식 출판은 1994년), Henry Scheffé는 모든 대비를 동시에 덮는 구간을 Biometrika에 발표했다.

4.1 가족 단위 오류율과 Bonferroni

정의 4.1 (가족 단위 오류율) 가설 $H_{0,1},\dots,H_{0,m}$을 함께 검정할 때, 참인 가설 가운데 하나라도 기각할 확률을 가족 단위 오류율(FWER)이라 한다. 신뢰구간 $m$개에서는 하나라도 참값을 놓칠 확률이다.

명제 4.2 (Bonferroni 부등식) 각 검정의 크기가 $\alpha/m$이면 FWER $\le\alpha$이다.

증명 $A_k$를 참인 $k$번째 가설을 기각하는 사건이라 하면 $P(\bigcup A_k)\le\sum P(A_k)\le m\cdot\alpha/m$이다(1회의 합집합 부등식).

Bonferroni는 검정들 사이의 의존을 전혀 쓰지 않으므로 언제나 쓸 수 있지만, 검정이 많고 서로 상관되면 지나치게 보수적이다. 처치 평균들의 비교처럼 구조가 있으면 더 날카로운 방법이 있다.

4.2 Scheffé: 모든 대비를 동시에

보조정리 4.3 (Cauchy–Schwarz의 꼴) $W$가 양정치이면 $\displaystyle\sup_{\ba\ne\bzero}\frac{(\ba\T\bu)^2}{\ba\T W\ba}=\bu\T W^{-1}\bu$이고, 최댓값은 $\ba\propto W^{-1}\bu$에서 이루어진다.

증명 $(\ba\T\bu)^2=\bigl((W^{1/2}\ba)\T(W^{-1/2}\bu)\bigr)^2\le(\ba\T W\ba)(\bu\T W^{-1}\bu)$이고, 등호는 $W^{1/2}\ba\propto W^{-1/2}\bu$일 때다(Cauchy–Schwarz [T4]). 5회 연습 3.13과 같은 계산이다.

정리 4.4 (Scheffé (1953)) 13회의 정규 선형모형에서 $C$를 계수 $q$의 $q\times p$ 행렬이라 하고 $\mathcal L=\{\bc=C\T\ba:\ba\in\R^q\}$라 하자. $s^2=\mathrm{RSS}/(n-p)$이면

$$P\Bigl(\text{모든 }\bc\in\mathcal L\text{에 대해 }\ \bigl|\bc\T\bhat-\bc\T\bbeta\bigr|\le\sqrt{qF_{q,n-p,\alpha}}\ s\sqrt{\bc\T(X\T X)^{-1}\bc}\Bigr)=1-\alpha .$$

일원배치의 대비 $\sum c_i\mu_i$ ($\sum c_i=0$)들에서는 $q=t-1$, $\bc\T(X\T X)^{-1}\bc=\sum c_i^2/n_i$이다.

증명 전략 무한히 많은 대비에 대한 부등식을 최댓값 하나에 대한 부등식으로 바꾼다. 그 최댓값은 Cauchy–Schwarz로 계산되고, 참값에서 잰 일반선형가설의 $F$ 통계량이 된다.

1. $\bu=C(\bhat-\bbeta)$, $W=C(X\T X)^{-1}C\T$로 두면 $\bc=C\T\ba$에 대해 $\bc\T(\bhat-\bbeta)=\ba\T\bu$, $\bc\T(X\T X)^{-1}\bc=\ba\T W\ba$이다.대입

2. $C$의 계수가 $q$이고 $(X\T X)^{-1}$이 양정치이므로 $W$는 양정치다.$\ba\T W\ba=\|(X\T X)^{-1/2}C\T\ba\|^2$

3. 1 2에서

   $$\sup_{\bc\in\mathcal L,\ \bc\ne\bzero}\frac{\bigl(\bc\T(\bhat-\bbeta)\bigr)^2}{s^2\,\bc\T(X\T X)^{-1}\bc}=\frac{\bu\T W^{-1}\bu}{s^2} .$$

   보조정리 4.3

4. $\mathbf d=C\bbeta$로 두면 귀무가설이 참이므로, $\bu\T W^{-1}\bu/(qs^2)\sim F(q,\allowbreak n-p)$이다.13회 정리 4.9(c)의 증명

5. “모든 $\bc\in\mathcal L$이 부등식을 만족한다”는 사건은 “3의 최댓값 $\le qF_{q,n-p,\alpha}$”와 같고, 4로 그 확률은 $1-\alpha$이다.상한의 정의

6. 일원배치의 대비 공간은 $\mu_i-\mu_t$ ($i<t$)로 생성되므로 $q=t-1$이고 $(X\T X)^{-1}=\diag(1/n_i)$이다.정리 2.2의 증명 1

Scheffé의 구간은 $F$ 검정과 짝을 이룬다. $F$ 검정이 $H_0$을 기각하는 것과 “어떤 대비의 Scheffé 구간이 0을 포함하지 않는 것”이 같은 사건이다. 대비가 자료를 본 뒤에 정해져도 보증이 깨지지 않는다.

4.3 Tukey: 짝 비교 전체를 정확히

정의 4.5 (스튜던트화 범위) $Z_1,\dots,Z_t\iid\N(0,1)$과 $V\sim\chi^2(\nu)$가 독립이라 하자.

$$Q=\frac{\max_iZ_i-\min_iZ_i}{\sqrt{V/\nu}}$$

의 분포를 스튜던트화 범위 분포라 하고, 위쪽 $\alpha$ 분위수를 $q_{t,\nu,\alpha}$로 쓴다.

증명 없이 쓰는 사실 (스튜던트화 범위의 분포) $Q$의 분포함수는 정규밀도와 $\chi$ 밀도를 포함하는 이중적분으로 쓸 수 있고, 수치적분으로 계산한다(Student 1927, Hartley 1942). 노트북은 scipy.stats.studentized_range를 쓴다.

정리 4.6 (Tukey (1953)) 일원배치에서 모든 $n_i=n$이고 $s^2$이 자유도 $\nu$인 오차의 평균제곱이면

$$P\Bigl(\text{모든 }i<j\text{에 대해 }\ \bigl|(\bar y_{i\cdot}-\bar y_{j\cdot})-(\mu_i-\mu_j)\bigr|\le q_{t,\nu,\alpha}\frac{s}{\sqrt n}\Bigr)=1-\alpha .$$

증명 전략 처치 평균을 표준화한 $Z_i$와 오차의 평균제곱으로 스튜던트화 범위를 만든다. 모든 짝의 차이에 대한 부등식은 최댓값 하나, 곧 범위에 대한 부등식이다. 단계별 증명은 연습 4.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

처치 평균들에 공통인 성분이 더해져도(분할구의 블록과 주구 효과처럼) 차이에서는 지워지므로, 세구 요인의 평균들에도 같은 정리가 쓰인다. 짝마다의 구간 폭 $q\,s/\sqrt n$을 정직한 유의차(HSD)라 부른다.

예제 4.7 (질소 수준의 비교) 귀리의 질소 평균은 79.4, 98.9, 114.2, 123.4이고(수준마다 18세구), 세구 오차는 $s^2=177.1$, $\nu=45$다. $q_{4,45,0.05}=3.773$이므로

$$\mathrm{HSD}=3.773\sqrt{177.1/18}=11.83 .$$

여섯 짝의 차 19.5, 34.8, 44.0, 15.3, 24.5, 9.2 가운데 0.4와 0.6 cwt의 차 9.2만 HSD보다 작다. 질소를 더 줄수록 수확이 늘지만 0.4를 넘으면 늘어나는 폭이 우연과 가려지지 않는다. 짝 하나의 $t$ 통계량으로 바꾸면 기준값은 Tukey $q/\sqrt2=2.668$, Bonferroni(6짝) $t_{45,0.05/12}=2.760$, Scheffé $\sqrt{3F_{3,45,0.05}}=2.904$로, 짝 비교만 할 때는 Tukey가 가장 좁다. 선형 추세 대비 $(-3,-1,1,3)$은 추정값 147.3, 표준오차 14.0, $t=10.5$로 Scheffé의 기준을 훨씬 넘는다.

예제 4.8 (우연만으로 몇 번 틀리나) 처치 6개, 처치마다 5개, 모든 평균이 같은 세계를 4만 번 만들고 15쌍을 비교했다($\nu=24$). 짝마다 5% $t$ 검정을 하면 하나라도 “유의”한 비율이 0.34다. Bonferroni는 0.034, Tukey는 0.049, Scheffé는 0.015다(그림 4.1 오른쪽). Tukey는 정확히 5%이고, Bonferroni와 Scheffé는 짝 비교에는 보수적이다. Scheffé는 짝뿐 아니라 무한히 많은 대비를 함께 덮기 때문이다.

그림 4.1 왼쪽: 귀리 질소 수준의 여섯 짝 차이와 동시 95% 구간. 같은 중심에 Tukey(굵게), Bonferroni, Scheffé의 폭을 겹쳤다. 0.4–0.6 cwt의 구간만 0을 포함한다. 오른쪽: 평균이 모두 같은 6처치에서 15쌍을 비교할 때의 가족 단위 오류율(4만 번).

연습문제

연습 4.1 (독립이라면 ★) 독립인 검정 15개를 각각 5%로 하면 FWER가 $1-0.95^{15}=0.54$임을 보여라. 예제 4.8의 0.34가 이보다 작은 이유는?

풀이

독립이면 하나도 기각하지 않을 확률이 $0.95^{15}=0.463$이므로 FWER는 $0.537$이다. 짝 비교 15개는 같은 평균 6개와 같은 $s$를 공유해서 양으로 상관되고, 기각 사건들이 겹치므로 합집합의 확률이 독립일 때보다 작다.

연습 4.2 (Scheffé는 $t$보다 넓다 ★★) 대비 하나만 볼 때의 $t$ 구간 기준값 $t_{\nu,\alpha/2}$보다 Scheffé의 기준값 $\sqrt{qF_{q,\nu,\alpha}}$가 크거나 같음을, 정리 4.4의 사건이 대비 하나의 $t$ 사건을 포함한다는 사실로 보여라. $q=1$이면 같다.

풀이

대비 $\bc$ 하나의 $T=\tfrac{\bc\T(\bhat-\bbeta)}{s\sqrt{\bc\T(X\T X)^{-1}\bc}}\sim t(\nu)$이고, Scheffé의 사건은 $|T|\le\sqrt{qF}$를 포함하므로 $P(|T|\le\sqrt{qF})\ge1-\alpha=P(|T|\le t_{\nu,\alpha/2})$이다. $T$는 연속이므로 $\sqrt{qF}\ge t_{\nu,\alpha/2}$. $q=1$이면 $F(1,\nu)$는 $t(\nu)^2$의 분포여서 같다.

연습 4.3 (HSD 계산 ★) 예제 4.7의 HSD와 여섯 짝의 판정을 다시 계산하라. 질소 0과 0.2의 차이만 관심이 있었다면 어떤 구간을 쓰는가?

풀이

$\mathrm{HSD}=3.773\times\sqrt{177.1/18}=11.83$. 짝의 차는 19.5, 34.8, 44.0, 15.3, 24.5, 9.2이고 마지막(0.4와 0.6)만 작다. 질소 0과 0.2만 미리 정해 두었다면 보통의 $t$ 구간 $19.5\pm t_{45,0.025}\sqrt{2\cdot177.1/18}=19.5\pm8.9$를 쓴다.

연습 4.4 (추세 대비 ★) 대비 $(-3,-1,1,3)$의 추정값과 표준오차 $s\sqrt{\sum c_i^2/n}$을 계산하라. 이 대비를 자료를 보고 골랐다면 어느 기준값을 써야 하는가?

풀이

$-3(79.39)-98.89+114.22+3(123.39)=147.3$, 표준오차 $\sqrt{177.1\cdot20/18}=14.0$. 자료를 보고 고른 대비이므로 Scheffé의 기준값 2.904를 쓴다. $t=10.5$는 그래도 훨씬 크다.

연습 4.5 (Tukey의 동시구간: 증명 ★ 유도형) 정리 4.6를 다음 순서로 증명하라.

1. (a)

   $Z_i=(\bar y_{i\cdot}-\mu_i)\sqrt n/\sigma$ ($i=1,\dots,t$)가 독립인 $\N(0,1)$임을 보여라.

2. (b)

   $V=\nu s^2/\sigma^2\sim\chi^2(\nu)$가 $Z_1,\dots,Z_t$와 독립임을 정리 2.2의 증명으로 확인하라. ($\bar y_{i\cdot}$은 $H\y$의 성분이고 $s^2$은 $(I-H)\y$의 함수다.)

3. (c)

   모든 $i<j$에 대해 $|Z_i-Z_j|\le c$인 것과 $\max_iZ_i-\min_iZ_i\le c$인 것이 같은 사건임을 보여라.

4. (d)

   (a)–(c)와 정의 4.5로 정리의 확률이 $1-\alpha$임을 결론지어라.

풀이

(a) $\bar y_{i\cdot}\sim\N(\mu_i,\allowbreak \sigma^2/n)$이고 처치가 다르면 서로 다른 관측의 평균이므로 독립이다. 표준화하면 $Z_i\iid\N(0,1)$이다. (b) 정리 2.2의 증명에서 $(H\y)_{ij}=\bar y_{i\cdot}$이고 $s^2=\|(I-H)\y\|^2/\nu$이다. $H\y$와 $(I-H)\y$는 직교하는 사영의 정규벡터이므로 독립이고(13회 따름정리 4.2), $\nu s^2/\sigma^2=\|(I-H)\y\|^2/\sigma^2\sim\chi^2(\nu)$이다. (c) $|Z_i-Z_j|\le\max Z-\min Z$이고 등호는 $Z_i$가 최대, $Z_j$가 최소일 때 이루어지므로 $\max_{i<j}|Z_i-Z_j|=\max Z-\min Z$이다. 따라서 “모든 짝에서 $\le c$”와 “범위 $\le c$”는 같은 사건이다. (d) 정리의 사건은 모든 짝에서 $|Z_i-Z_j|\le q_{t,\nu,\alpha}\,s/\sigma$, 곧 $Q=\tfrac{\max Z-\min Z}{\sqrt{V/\nu}}\le q_{t,\nu,\alpha}$이다. (a)(b)로 $Q$는 정의 4.5의 스튜던트화 범위이므로 확률은 $1-\alpha$이다.

이 절을 PDF로 보기 (20쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례