13회 · 최소제곱 · 노트

4 정규 오차 아래의 분포 — Cochran과 Craig

역사 Fisher는 1922년 회귀계수의 $t$ 분포를, 1925년 분산분석표를 내놓았다. 그의 논증은 $n$차원 공간의 기하적 직관에 기대었다. 1934년 케임브리지의 대학원생이던 William Cochran은 정규변수의 제곱합을 이차형식 여럿으로 나눌 때 각 조각이 언제 서로 독립인 $\chi^2$이 되는지를 정리로 증명했다. 1943년 아이오와의 Allen Craig는 두 이차형식이 독립일 조건을 한 줄로 썼다. 두 행렬의 곱이 0이면 된다는 것이다. Craig의 “필요하다” 쪽 증명에는 틈이 있었다. 일본의 Sakamoto(1944)가 따로 같은 정리에 이르렀고, 올바른 증명을 둘러싼 논문이 1980년대까지 이어졌다. Craig는 뒤에 제자 Robert Hogg와 함께 수리통계학의 표준 교과서를 썼다.

이 절 내내 $\Z\sim\N_n(\bzero,I_n)$, 곧 $Z_1,\dots,Z_n\iid\N(0,1)$이다(5회 따름정리 3.12).

4.1 이차형식이 $\chi^2$χ²일 때

정리 4.1 (이차형식의 $\chi^2$ 판정) $A$가 대칭이면 $\ \Z\T A\Z\sim\chi^2(r)\iff A^2=A$이고 $\rank A=r$.

증명 전략 ($\Leftarrow$) 사영을 정규직교 좌표로 쓰면 독립인 표준정규 $r$개의 제곱합이 된다. ($\Rightarrow$) 고유값으로 쓴 mgf를 $\chi^2(r)$의 mgf와 맞추고, 두 다항식의 근을 비교한다.

$\Leftarrow$

1. $A=UU\T$, $U\T U=I_r$로 쓴다.보조정리 2.4(b)

2. $\W=U\T\Z\sim\N_r(\bzero,\allowbreak U\T U)=\N_r(\bzero,\allowbreak I_r)$이다.5회 정리 3.8

3. $\Z\T A\Z=\Z\T UU\T\Z=\|\W\|^2$은 독립인 표준정규 $r$개의 제곱합이므로 $\chi^2(r)$이다.5회 따름정리 1.9

$\Rightarrow$

1. $A=V\Lambda V\T$로 쓰고 $\W=V\T\Z\sim\N_n(\bzero,I)$로 두면 $\Z\T A\Z=\sum_i\lambda_iW_i^2$이다.5회 보조정리 3.2, 정리 3.8

2. $|t|<1/(2\max_i|\lambda_i|)$이면

   $$E\,e^{t\Z\T A\Z}=\prod_{i=1}^nE\,e^{t\lambda_iW_i^2}=\prod_{i=1}^n(1-2t\lambda_i)^{-1/2} .$$

   $W_i$ 독립, $\chi^2(1)$의 mgf

3. 가정으로 이것은 $\chi^2(r)$의 mgf $(1-2t)^{-r/2}$과 같다. 제곱해 뒤집으면 $\prod_i(1-2t\lambda_i)=(1-2t)^r$이 0 근처의 구간에서 성립한다.2

4. 두 다항식이 한 구간에서 같으므로 모든 $t$에서 같다.다항식의 항등

5. 오른쪽은 $t=\tfrac12$에서만 0이고 중복도가 $r$이다. 왼쪽은 $\lambda_i\ne0$마다 $t=1/(2\lambda_i)$에서 0이다. 따라서 0이 아닌 $\lambda_i$는 모두 1이고 정확히 $r$개다.근의 비교

6. $\Lambda^2=\Lambda$이므로 $A^2=V\Lambda^2V\T=A$이고 $\rank A=r$이다.5

조건 확인 $\chi^2(1)$의 mgf $(1-2s)^{-1/2}$은 $s<\tfrac12$에서만 유한하다. $|t|<1/(2\max_i|\lambda_i|)$이면 모든 $i$에서 $t\lambda_i<\tfrac12$이므로 2의 각 인수가 유한하고, 독립인 변수의 함수의 곱의 기댓값은 기댓값의 곱이다(3회 정리 3.4(b)를 $n$개로 되풀이).

따름정리 4.2 (평균이 있을 때) $\y\sim\N_n(\bmu,\sigma^2I)$이고 $A$가 계수 $r$의 대칭 멱등행렬이며 $A\bmu=\bzero$이면 $\y\T A\y/\sigma^2\sim\chi^2(r)$이다.

증명 $\y=\bmu+\sigma\Z$이고 $A\bmu=\bzero$이면 $\bmu\T A=\bzero\T$이므로 $\y\T A\y=\sigma^2\Z\T A\Z$이다. 정리 4.1.

4.2 두 이차형식이 독립일 때

보조정리 4.3 (이차형식의 공분산) $A,B$가 대칭이면 $E\,\Z\T A\Z=\tr A$이고 $\Cov(\Z\T A\Z,\allowbreak \ \Z\T B\Z)=2\tr(AB)$이다. 특히 $\Var\Z\T A\Z=2\tr(A^2)$이다.

증명 첫 식은 보조정리 3.1다. 표준정규의 독립성과 $EZ^2=1$, $EZ^4=3$에서, 네 첨자에 대해

$$E Z_iZ_jZ_kZ_l=\delta_{ij}\delta_{kl}+\delta_{ik}\delta_{jl}+\delta_{il}\delta_{jk}$$

이다(네 첨자가 모두 같으면 $3$, 두 쌍으로 나뉘면 $1$, 그 밖에는 홀수 차수가 남아 0). 따라서

$$E(\Z\T A\Z)(\Z\T B\Z)=\sum_{i,j,k,l}a_{ij}b_{kl}\,E Z_iZ_jZ_kZ_l=\tr A\,\tr B+\sum_{i,j}a_{ij}b_{ij}+\sum_{i,j}a_{ij}b_{ji}=\tr A\,\tr B+2\tr(AB)$$

이고 ($B$가 대칭이므로 두 합이 모두 $\tr(AB)$), $\tr A\,\tr B$를 빼면 공분산이다.

정리 4.4 (Craig의 정리 (1943)) $A,B$는 $n\times n$ 대칭행렬, $L$은 $q\times n$ 행렬이다.

1. (a)

   $AB=0$이면 $\Z\T A\Z$와 $\Z\T B\Z$는 독립이다.

2. (b)

   $LA=0$이면 $L\Z$와 $\Z\T A\Z$는 독립이다.

3. (c)

   $A,B$가 양의 준정치이고 $\Z\T A\Z$와 $\Z\T B\Z$가 독립이면 $AB=0$이다.

증명 전략 이차형식을 0이 아닌 고유값의 좌표 $U_A\T\Z$의 함수로 쓴다. 결합정규인 벡터는 무상관이면 독립이므로, 독립을 공분산 행렬의 계산으로 바꾼다. (c)는 거꾸로 공분산 0에서 대각합으로 간다.

준비

1. 0이 아닌 고유값만 모아 $A=U_A\Lambda_AU_A\T$로 쓴다. $U_A$의 열은 정규직교이고 $\Lambda_A$는 가역인 대각행렬이다. $B$도 같은 방식으로 $U_B,\Lambda_B$를 잡는다.5회 보조정리 3.2

2. $\Z\T A\Z=(U_A\T\Z)\T\Lambda_A(U_A\T\Z)$는 $U_A\T\Z$의 함수이고, $AU_A=U_A\Lambda_A$에서 $U_A=AU_A\Lambda_A^{-1}$이다.1

(b)

1. $\Cov(L\Z,\allowbreak \ U_A\T\Z)=LU_A=LAU_A\Lambda_A^{-1}=0$이다.5회 보조정리 3.1, 준비의 2, $LA=0$

2. $(L\Z,U_A\T\Z)$는 $\Z$의 선형변환이므로 결합정규이고, 무상관이므로 독립이다.5회 정리 3.8, 3.11

3. 독립인 두 벡터의 함수 $L\Z$와 $\Z\T A\Z$는 독립이다.준비의 2, 3회 정리 3.4(a)

(a)

1. $\Cov(U_A\T\Z,\allowbreak \ U_B\T\Z)=U_A\T U_B=\Lambda_A^{-1}U_A\T AB\,U_B\Lambda_B^{-1}=0$이다.준비의 2를 $A,B$에, $AB=0$

2. (b)와 같은 논리로 $U_A\T\Z$와 $U_B\T\Z$가 독립이고, 그 함수인 두 이차형식도 독립이다.(b)의 2 3

(c)

1. 독립이면 공분산이 0이므로 $\tr(AB)=0$이다.보조정리 4.3

2. 양의 준정치 행렬의 제곱근을 쓰면

   $$\tr(AB)=\tr\bigl(B^{1/2}A^{1/2}A^{1/2}B^{1/2}\bigr)=\bigl\|A^{1/2}B^{1/2}\bigr\|_F^2$$

   $\tr MN=\tr NM$

   이다. $\|M\|_F^2=\tr M\T M$은 원소의 제곱합이다.

3. 따라서 $A^{1/2}B^{1/2}=0$이고 $AB=A^{1/2}\bigl(A^{1/2}B^{1/2}\bigr)B^{1/2}=0$이다.1 2

조건 확인 (c)의 1은 이차형식의 2차 적률이 유한하다는 것을 쓴다. $\Z$의 성분은 모든 차수의 적률을 가지므로 그렇다. 제곱근 $A^{1/2}$, $B^{1/2}$이 있으려면 $A,B$가 양의 준정치여야 한다. 이 가정을 빼는 일반판은 아래 상자에 있다.

증명 없이 쓰는 사실 (Craig–Sakamoto 정리) (c)는 양의 준정치라는 조건 없이도 참이다. 대칭행렬 $A,B$에 대해 $\Z\T A\Z$와 $\Z\T B\Z$가 독립이면 $AB=0$이다. 증명은 결합 mgf가 곱으로 갈라진다는 조건 $\det(I-2sA-2tB)=\det(I-2sA)\det(I-2tB)$에서 $AB=0$을 이끄는 행렬식의 대수인데, 이 과정의 범위를 넘는다(Driscoll–Krasnicka 1995, Olkin 1997). 이 노트에서 쓰는 이차형식은 모두 사영행렬이므로 (c)로 충분하다.

4.3 Cochran의 정리

정리 4.5 (Cochran의 정리 (1934)) $I_n=A_1+\dots+A_k$이고 각 $A_i$는 대칭, $\rank A_i=r_i$라 하자. 그러면 $\Z\T\Z=\sum_i\Z\T A_i\Z$이고,

$$\Z\T A_1\Z,\dots,\Z\T A_k\Z\ \text{가 서로 독립이고 }\Z\T A_i\Z\sim\chi^2(r_i)\quad\iff\quad r_1+\dots+r_k=n .$$

증명 전략 ($\Rightarrow$)는 평균의 비교다. ($\Leftarrow$)는 세 단계다. 계수의 합 조건으로 각 $A_i$가 멱등임을 보이고, 서로 직교함을 보인 뒤, 모든 사영의 기저를 모은 직교행렬로 $\Z$를 회전한다.

$\Rightarrow$

1. 독립인 $\chi^2(r_i)$들의 합은 $\chi^2(\sum_ir_i)$이다.mgf의 곱, 3회 정리 3.4(d)

2. 그 합이 $\Z\T\Z\sim\chi^2(n)$이므로 평균을 비교하면 $\sum_ir_i=n$이다.$E\chi^2(r)=r$

$\Leftarrow$

1. $i$를 고정하면 $I-A_i=\sum_{j\ne i}A_j$이므로 $\rank(I-A_i)\le\sum_{j\ne i}r_j=n-r_i$이다.$\rank(M+N)\le\rank M+\rank N$

2. 모든 $\bv$가 $A_i\bv+(I-A_i)\bv$이므로 $\col(A_i)+\col(I-A_i)=\R^n$이고 $\rank(I-A_i)\ge n-r_i$이다.[T1]

3. 따라서 $I-A_i$의 영공간, 곧 $A_i$의 고유값 1의 고유공간의 차원은 $r_i$이다.1 2, 차원 정리

4. 대칭행렬 $A_i$의 0이 아닌 고유값은 중복을 세어 $r_i$개이고 그 가운데 1이 $r_i$개이므로, 0이 아닌 고유값은 모두 1이다. 곧 $A_i^2=A_i$이다.3, 스펙트럼 분해

5. $\bv\in\col(A_i)$이면 $A_i\bv=\bv$이고, 대칭 멱등인 $A_j$에서 $\bv\T A_j\bv=\|A_j\bv\|^2$이므로

   $$\|\bv\|^2=\sum_j\bv\T A_j\bv=\|\bv\|^2+\sum_{j\ne i}\|A_j\bv\|^2 .$$

   $\sum_jA_j=I$, 4

   따라서 $j\ne i$이면 $A_j\bv=\bzero$, 곧 $A_jA_i=0$이다.

6. $A_i=U_iU_i\T$ ($U_i\T U_i=I_{r_i}$)로 쓰면 $U_j\T U_i=U_j\T A_jA_iU_i=0$ ($j\ne i$)이다. $U=[U_1,\dots,U_k]$는 $n\times n$이고 $U\T U=I$, 곧 직교행렬이다.보조정리 2.4(b), 5, $\sum r_i=n$

7. $\W=U\T\Z\sim\N_n(\bzero,I)$의 성분은 독립이고, $\Z\T A_i\Z=\|U_i\T\Z\|^2$은 $\W$의 $i$번째 블록의 제곱합이다. 블록들은 겹치지 않으므로 서로 독립인 $\chi^2(r_i)$이다.5회 정리 3.8, 따름정리 1.9

예제 4.6 (Student의 정리는 Cochran의 정리다) $J=\one\one\T/n$이라 하면 $I=J+(I-J)$이고 계수는 $1+(n-1)=n$이다. Cochran으로 $\Z\T J\Z=n\bar Z^2\sim\chi^2(1)$과 $\Z\T(I-J)\Z=\sum(Z_i-\bar Z)^2\sim\chi^2(n-1)$이 독립이다. $\bar Z=\tfrac1n\one\T\Z$ 자체가 $\sum(Z_i-\bar Z)^2$과 독립인 것은 Craig (b)에서 $L=\tfrac1n\one\T$, $L(I-J)=\bzero\T$로 나온다. 6회 정리 2.2가 이렇게 한 줄이 된다. 14회의 분산분석은 $I$를 더 많은 사영으로 나누는 같은 정리다.

4.4 계수의 분포와 $t$t

정리 4.7 (정규 선형모형의 표본분포) $\y\sim\N_n(X\bbeta,\sigma^2I)$, $\rank X=p$이면

1. (a)

   $\bhat\sim\N_p\bigl(\bbeta,\allowbreak \ \sigma^2(X\T X)^{-1}\bigr)$,

2. (b)

   $\mathrm{RSS}/\sigma^2\sim\chi^2(n-p)$,

3. (c)

   $\bhat$과 $\mathrm{RSS}$는 독립,

4. (d)

   $(\bhat-\bbeta)\T X\T X(\bhat-\bbeta)/\sigma^2\sim\chi^2(p)$.

증명 $\Z=\beps/\sigma\sim\N_n(\bzero,\allowbreak I)$로 두자. (a) $\bhat$은 $\y$의 선형변환이므로 정규이고(5회 정리 3.8) 평균과 공분산은 정리 3.2(a). (b) $\mathrm{RSS}=\beps\T(I-H)\beps=\sigma^2\Z\T(I-H)\Z$이고 $I-H$는 계수 $n-p$의 대칭 멱등(정리 2.5(c))이므로 정리 4.1. (c) $\bhat-\bbeta=\sigma L\Z$, $L=(X\T X)^{-1}X\T$이고 $L(I-H)=0$이므로 Craig (b). (d) 5회 정리 3.17을 (a)에 쓴다.

따름정리 4.8 (계수의 $t$, 신뢰구간, 예측구간) $s^2=\mathrm{RSS}/(n-p)$이고 $\bc\in\R^p$, $\bc\ne\bzero$이면

$$T=\frac{\bc\T\bhat-\bc\T\bbeta}{s\sqrt{\bc\T(X\T X)^{-1}\bc}}\sim t(n-p).$$

특히 $\mathrm{SE}(\hat\beta_j)=s\sqrt{[(X\T X)^{-1}]_{jj}}$이고 $\hat\beta_j\pm t_{n-p,\alpha/2}\,\mathrm{SE}(\hat\beta_j)$는 $\beta_j$의 $1-\alpha$ 신뢰구간이다. 새 관측 $y_0=\x_0\T\bbeta+\varepsilon_0$ ($\varepsilon_0\sim\N(0,\allowbreak \sigma^2)$, $\y$와 독립)에 대해

$$\x_0\T\bhat\ \pm\ t_{n-p,\alpha/2}\;s\sqrt{1+\x_0\T(X\T X)^{-1}\x_0}$$

는 $1-\alpha$ 예측구간이다.

증명 정리 4.7(a)로 $(\bc\T\bhat-\bc\T\bbeta)/(\sigma\sqrt{\bc\T(X\T X)^{-1}\bc})\sim\N(0,\allowbreak 1)$이고, (b)(c)로 $(n-p)s^2/\sigma^2\sim\chi^2(n-p)$가 그것과 독립이다. 6회 정의 3.1로 $t(n-p)$다. 예측구간: $y_0-\x_0\T\bhat=\varepsilon_0-\x_0\T(\bhat-\bbeta)\sim\N\bigl(0,\allowbreak \sigma^2(1+\x_0\T(X\T X)^{-1}\x_0)\bigr)$이고 $s^2$과 독립이다($\varepsilon_0$은 $\y$와 독립이고 $\bhat$은 RSS와 독립).

$X=\one$이면 이것이 6회 정리 5.2의 $t$-구간과 6회 정리 8.1의 예측구간이다. 신뢰구간의 폭은 $n\to\infty$에서 0으로 가지만, 예측구간의 폭은 $2t\,\sigma$ 근처에서 멈춘다. 평균은 정확히 알게 되어도 다음 한 사람의 오차 $\varepsilon_0$은 줄지 않는다.

4.5 일반선형가설의 $F$F 검정

정리 4.9 (일반선형가설) $C$는 계수 $q$의 $q\times p$ 행렬, $\mathbf d\in\R^q$이고 $H_0:C\bbeta=\mathbf d$라 하자. $W=C(X\T X)^{-1}C\T$로 쓰고, $C\bb=\mathbf d$ 아래 $\|\y-X\bb\|^2$을 최소로 하는 $\bhat_0$와 그때의 잔차제곱합 $\mathrm{RSS}_0$을 생각한다.

1. (a)

   $\bhat_0=\bhat-(X\T X)^{-1}C\T W^{-1}(C\bhat-\mathbf d)$.

2. (b)

   $\mathrm{RSS}_0-\mathrm{RSS}=\|X\bhat-X\bhat_0\|^2=(C\bhat-\mathbf d)\T W^{-1}(C\bhat-\mathbf d)$.

3. (c)

   정규 오차이고 $H_0$이 참이면

   $$F=\frac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}\sim F(q,\ n-p).$$
4. (d)

   $H_0$의 가능도비 검정(12회 정의 3.1)의 비는 $\lambda=(\mathrm{RSS}/\mathrm{RSS}_0)^{n/2}=\bigl(1+\tfrac{q}{n-p}F\bigr)^{-n/2}$이므로, 가능도비 검정은 $F$가 클 때 기각하는 검정이다.

증명 전략 제약 아래의 최소화를 2절의 피타고라스로 푼다. $\|\y-X\bb\|^2$을 $\mathrm{RSS}$와 “$\bhat$에서의 거리”로 나누고, 제약을 만족하는 점들 가운데 $\bhat_0$가 그 거리를 최소로 함을 직교성으로 보인다. 분포는 정리 4.7에서, 가능도비는 $\sigma^2$을 먼저 최대화해 얻는다.

(a)(b)

1. 모든 $\bb$에서 $\|\y-X\bb\|^2=\mathrm{RSS}+(\bb-\bhat)\T X\T X(\bb-\bhat)$이다.정리 2.2(a)의 항등식

2. (a)의 $\bhat_0$는 $C\bhat_0=C\bhat-WW^{-1}(C\bhat-\mathbf d)=\mathbf d$, 곧 제약을 만족하고 $X\T X(\bhat_0-\bhat)=-C\T W^{-1}(C\bhat-\mathbf d)$이다.(a)의 식에 $C$, $X\T X$를 곱한다

3. $C\bb=\mathbf d$인 아무 $\bb$에서

   $$(\bb-\bhat_0)\T X\T X(\bhat_0-\bhat)=-(C\bb-C\bhat_0)\T W^{-1}(C\bhat-\mathbf d)=0 .$$

   2

4. 따라서 $(\bb-\bhat)\T X\T X(\bb-\bhat)=(\bb-\bhat_0)\T X\T X(\bb-\bhat_0)+(\bhat_0-\bhat)\T X\T X(\bhat_0-\bhat)$이다.3, 더하고 빼기 [T4]

5. 첫 항은 0 이상이고 $\bb=\bhat_0$일 때만 0이므로 $\bhat_0$가 제약 아래 최소점이고 $\mathrm{RSS}_0-\mathrm{RSS}=\|X(\bhat_0-\bhat)\|^2$이다.1 4, $X\T X\succ0$

6. (a)를 넣으면 $\|X(\bhat_0-\bhat)\|^2=(C\bhat-\mathbf d)\T W^{-1}C(X\T X)^{-1}C\T W^{-1}(C\bhat-\mathbf d)=(C\bhat-\mathbf d)\T W^{-1}(C\bhat-\mathbf d)$이다.$C(X\T X)^{-1}C\T=W$

(c)

1. $H_0$ 아래 $C\bhat-\mathbf d=C(\bhat-\bbeta)\sim\N_q(\bzero,\allowbreak \sigma^2W)$이다.정리 4.7(a), 5회 정리 3.8

2. (a)(b)의 6으로 $(\mathrm{RSS}_0-\mathrm{RSS})/\sigma^2\sim\chi^2(q)$이다.5회 정리 3.17

3. 이것은 $\bhat$의 함수이므로 $\mathrm{RSS}$와 독립이고 $\mathrm{RSS}/\sigma^2\sim\chi^2(n-p)$이다.정리 4.7(b)(c)

4. 두 $\chi^2$을 자유도로 나눈 비이므로 $F\sim F(q,n-p)$이다.6회 정의 4.1

(d)

1. $\bb$를 고정하고 $\sigma^2$에 대해 최대로 하면 가능도는 $\bigl(2\pi\,\mathrm{RSS}(\bb)/n\bigr)^{-n/2}e^{-n/2}$이다.정리 3.6(a)의 계산

2. 제약 아래 최대와 전체 최대의 비는 $\lambda=(\mathrm{RSS}_0/\mathrm{RSS})^{-n/2}$이고, (b)와 $F$의 정의로 $\mathrm{RSS}_0/\mathrm{RSS}=1+\tfrac q{n-p}F$이다.12회 정의 3.1

조건 확인 $W$의 역행렬이 있어야 한다. $(X\T X)^{-1}$이 양정치이고 $C$의 행이 일차독립이므로, $\bv\ne\bzero$이면 $C\T\bv\ne\bzero$이고 $\bv\T W\bv=(C\T\bv)\T(X\T X)^{-1}(C\T\bv)>0$이다. $W$는 양정치이고 가역이다.

그림 2.1에서 $\mathrm{RSS}_0-\mathrm{RSS}=\|\hat\y-\hat\y_0\|^2$은 두 적합값 사이의 거리다. $F$는 “귀무가설이 잃는 설명”을 “잔차의 크기”로 잰 것이다. (d)로 Wilks 정리(9회 정리 5.2)의 $-2\log\lambda=n\log(1+\tfrac q{n-p}F)$는 $n\to\infty$에서 $qF$에 가까워지고 $\chi^2(q)$로 수렴한다. 정규 선형모형에서는 그 근사 대신 정확한 $F$를 쓸 수 있다.

예제 4.10 (두 특별한 경우) (i) $q=1$, $C=\mathbf e_j\T$, $\mathbf d=0$이면 $F=t_j^2$이다(연습 4.4). 계수 하나의 $F$ 검정은 양쪽 $t$ 검정이다. (ii) 상수항이 있고 $H_0$이 “상수항 말고 모든 계수가 0”이면 $\mathrm{RSS}_0=\mathrm{TSS}$이고

$$F=\frac{R^2/(p-1)}{(1-R^2)/(n-p)} .$$

회귀 요약표 맨 아래의 $F$가 이것이다. Galton의 자료(5절)에서 $t=15.71$, $F=246.8=15.71^2$이다.

연습문제

연습 4.1 (멱등이 아니면 ★) $n=2$에서 $A=\diag(2,0)$과 $A=\diag(1,-1)$일 때 $\Z\T A\Z$의 분포를 쓰고, 둘 다 $\chi^2$이 아님을 평균과 분산으로 확인하라.

풀이

$\diag(2,0)$: $2Z_1^2$, 평균 2, 분산 8. 평균이 2인 $\chi^2$은 $\chi^2(2)$이고 분산이 4이므로 아니다. $\diag(1,-1)$: $Z_1^2-Z_2^2$, 평균 0, 분산 4. 음수 값을 가지므로 $\chi^2$일 수 없다.

연습 4.2 ($S^2$의 분산 ★) $S^2=\Z\T(I-J)\Z/(n-1)$에 보조정리 4.3를 써서 $\Var S^2=2/(n-1)$을 다시 얻어라(6회 따름정리 2.3).

풀이

$I-J$는 대칭 멱등이므로 $\Var\Z\T(I-J)\Z=2\tr\bigl((I-J)^2\bigr)=2\tr(I-J)=2(n-1)$. $(n-1)^2$으로 나누면 $2/(n-1)$이다($\sigma=1$).

연습 4.3 (일반 공분산의 Craig ★★) $\X\sim\N_n(\bzero,\Sigma)$, $\Sigma\succ0$이면 $A\Sigma B=0$일 때 $\X\T A\X$와 $\X\T B\X$가 독립임을 정리 4.4로 보여라.

풀이

$\Z=\Sigma^{-1/2}\X$로 두면 $\Z\sim\N(\bzero,I)$이다. $\tilde A=\Sigma^{1/2}A\Sigma^{1/2}$로 쓰면 $\X\T A\X=\Z\T\tilde A\Z$이다. $\tilde B$도 같게 두면 $\tilde A\tilde B=\Sigma^{1/2}A\Sigma B\Sigma^{1/2}=0$이므로 정리 4.4(a).

연습 4.4 ($F=t^2$ ★) 정리 4.9(b)에서 $C=\mathbf e_j\T$, $\mathbf d=0$이면 $F=\hat\beta_j^2/\mathrm{SE}(\hat\beta_j)^2=t_j^2$임을 보여라.

풀이

$C=\mathbf e_j\T$이면 $W=[(X\T X)^{-1}]_{jj}$이고 $\mathrm{RSS}_0-\mathrm{RSS}=\hat\beta_j^2/W$. $F=\hat\beta_j^2/(Ws^2)=\bigl(\hat\beta_j/\mathrm{SE}_j\bigr)^2=t_j^2$.

연습 4.5 ($R^2$에서 $F$로 ★) 예제 4.10(ii)의 식을 증명하고, Galton의 $R^2=0.2105$, $n=928$, $p=2$로 $F$를 계산하라.

풀이

$\mathrm{RSS}_0=\mathrm{TSS}$이므로 분자는 $\mathrm{ESS}/(p-1)=R^2\mathrm{TSS}/(p-1)$, 분모는 $(1-R^2)\mathrm{TSS}/(n-p)$. Galton: $F=\tfrac{0.21046}{0.78954}\times926=246.8$.

연습 4.6 (근사와 정확 ★★) Mayer의 자료($n=27$, $p=3$)에서 계수 하나에 대한 가능도비 검정을 Wilks 근사($-2\log\lambda>3.84$)로 하면 실제 크기는 얼마인가? 정리 4.9(d)로 $F$의 임계값으로 바꿔 계산하라.

풀이

$-2\log\lambda=27\log(1+F/24)>3.841$은 $F>24(e^{3.841/27}-1)=3.669$와 같다. $H_0$ 아래 $F\sim F(1,24)$이므로 실제 크기는 $P(F(1,24)>3.669)=0.067$이다. 정확한 5% 임계값은 4.26이다. $n=27$에서 Wilks 근사는 1종 오류를 3할 넘게 부풀린다.

이 절을 PDF로 보기 (21쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례